두 시간 척도
연속 궤적은 눈 움직임의 세밀한 변화를 나타내고 주시 순서는 어느 위치에 머물렀는지의 큰 구조를 나타낸다. ST-DiffEye는 이 둘이 서로 보완적인 정보를 제공한다고 보고 함께 학습한다.
공동 확산 모델
두 표현을 추가 입력 채널로 연결하는 방식으로 결합한다. 입출력 채널을 늘리는 구성으로 공동 모델링을 수행하며 별도의 복잡한 구조를 더하는 방식을 피한다.
다양성까지 평가하기
같은 자극을 보더라도 시선은 사람과 시행마다 달라진다. 연구는 CRPS에 기반한 평가 틀로 생성 결과의 정확도와 다양성을 함께 살피려 한다.
과제 설정의 구분
대상을 찾는 시각 탐색에서는 대상이 있는 조건과 없는 조건을 나누며 자유롭게 보는 조건도 평가한다. 영상 속 등장인물의 시선 대상을 맞히는 과제와는 예측 대상이 다르다.
관련 문서
GazeFollow / Gaze-LLE / 확산 모델 / 확률 분포 / 컴퓨터 비전 / 시계열