픽셀에서 물체로
시선 분포를 픽셀별 지도로만 표현하는 대신 물체를 주의의 단위로 다룬다. OAT는 여러 방해 대상 가운데 목표를 찾는 사람의 경로를 물체 주시 순서로 모델링한다.
인코더와 디코더
인코더는 영상 속 물체의 위치와 외형 및 목표 정보를 담는다. 디코더는 인코더 출력과 디코더 특징을 통합해 주시 시퀀스를 예측한다.
물체 사이의 위치 관계
물체 간 공간 관계를 더 잘 표현하기 위한 위치 인코딩도 제안한다. 연구는 책 표지 자료와 별도로 수집한 시각 탐색 자료에서 경로 예측을 평가한다.
단위 선택의 영향
물체 단위로 경로를 표현하면 어떤 물체를 보았는지 비교하기 쉬울 수 있다. 반면 같은 물체 안에서 글자와 그림을 번갈아 보는 세밀한 움직임은 별도의 위치 표현이 필요하다.
관련 문서
Gazeformer / COCO-Search18 / 물체 관계 기반 시선 대상 검출 / 트랜스포머 / 객체 탐지 / 컴퓨터 비전