영상 속 시선 대상
각 프레임에서 사람이 어디를 바라보는지 찾는 과제를 다룬다. 화면 안의 위치를 고르는 것뿐 아니라 시선 대상이 화면 밖에 있는 경우를 올바르게 구분하는 것이 중요하다.
시간 변화의 모델링
함께 제시된 방법은 장면 특징과 머리 특징의 동적인 상호작용을 모델링한다. 정지 영상 한 장의 단서에 더해 시간에 따라 바뀌는 주의 대상을 추정하려는 구성이다.
주의 지도와 행동
예측한 주의 지도를 사회적 시선 행동 인식에 활용하는 연구가 함께 수행됐다. 시선 대상 예측과 행동 분류는 출력과 평가 기준이 다른 과제이므로 결과를 구분해서 읽어야 한다.
화면 밖 판단의 필요성
가령 사람이 촬영 범위 밖의 상대를 보는 장면에서 화면 안 물건을 억지로 고르면 잘못된 설명이 된다. 위치 오차만 보지 않고 화면 안팎 판단도 별도로 평가해야 하는 이유다.