방향과 대상의 차이
시선 각도를 아는 것과 장면에서 실제로 바라보는 위치를 찾는 것은 다르다. 대상 추정에는 사람의 외형 단서와 주변 장면의 내용이 함께 필요하다.
공통 장면 특징
하나의 장면 특징 표현을 추출하고 사람별 위치 프롬프트로 가볍게 시선을 디코딩한다. 사람과 장면마다 별도의 복잡한 특징 추출 경로를 구성하는 접근을 단순화하려는 방식이다.
고정한 인코더의 역할
대규모로 학습한 DINOv2의 특징을 사용하되 인코더를 고정한다. 학습하는 모듈이 작다는 사실과 전체 추론에 드는 계산량이 작다는 주장은 구분해야 한다.
여러 사람이 있는 장면
같은 장면에서도 사람마다 바라보는 곳이 다를 수 있다. 가령 두 사람이 서로 다른 물건을 보는 경우 장면 전체의 눈에 띄는 위치만 찾기보다 어느 사람의 시선인지 조건을 지정해야 한다.