과제 사이의 연결
한 사람이 어디를 보는지 찾는 과제와 사람 사이의 사회적 시선을 분류하는 과제는 밀접하지만 같은 출력은 아니다. VSGaze 관련 연구는 둘을 별도 처리하거나 단순 후처리로 연결하는 제약을 다룬다.
주석 형식 통합
여러 시선 따라가기 및 사회적 시선 데이터셋의 주석 종류를 통일한다. 서로 다른 과제를 함께 학습할 수 있는 자료 기반을 마련하는 것이 목적이다.
시간과 인물 토큰
제안된 트랜스포머 구조는 영상 토큰에 더해 사람별 시선 정보를 담는 토큰을 처리한다. 시간 변화와 같은 장면의 여러 사람을 함께 고려해 두 종류의 출력을 예측한다.
라벨과 의도 구별
같은 방향을 보는 두 사람이 반드시 같은 의도로 행동하는 것은 아니다. 모델의 사회적 시선 라벨은 정해진 관측과 주석 기준의 예측이므로 사람의 내적 의도를 확정하는 설명과 구분해야 한다.
관련 문서
Sharingan 시선 따라가기 / GazeFollow / VideoAttentionTarget / ChildPlay / 트랜스포머 / 컴퓨터 비전