누구의 시선인가
사진을 보는 관찰자가 아니라 사진 안에 등장하는 사람이 어디를 보는지 추정한다. 같은 장면이라도 등장인물마다 시선 대상이 다를 수 있으므로 대상 사람을 지정해야 한다.
머리와 장면의 결합
함께 제시된 신경망 방법은 머리 방향과 위치, 장면 내용을 결합해 가능한 시선 위치의 분포를 예측한다. 얼굴 정면이 드러나지 않는 경우도 연구 범위에 포함한다.
현저성과 구별하기
화면에서 눈에 잘 띄는 물체가 등장인물의 시선 대상이라는 보장은 없다. 시선 따라가기는 사람의 방향 단서를 고려해 장면 속 후보 가운데 대상을 추정해야 한다.
여러 후보가 겹칠 때
가령 사람 앞에 작은 화분과 큰 창문이 겹쳐 있다면 방향만으로는 대상을 확정하기 어려울 수 있다. 하나의 점 예측과 가능한 위치의 분포를 구별하면 이런 모호함을 표현하는 데 도움이 된다.
관련 문서
Gaze-LLE / VideoAttentionTarget / PaGE 시선 대상 추정 / 컴퓨터 비전 / 데이터셋 / 신경망