목표에 따른 주의
특정 물체를 찾는 상황과 목적 없이 장면을 보는 상황은 시선 선택의 조건이 다르다. HAT는 하향식 과제 조건과 상향식 시각 정보의 영향을 하나의 모델에서 다루려 한다.
시간과 공간의 문맥
트랜스포머 구조와 단순화한 중심와 망막 표현으로 시공간 문맥을 구성한다. 이는 사람의 시각 작업 기억과 관련된 동적 특성을 모델링하려는 설계이며 생물학적 망막의 완전한 재현은 아니다.
격자 대신 조밀한 예측
거친 격자 셀에 주시 위치를 대응시키면 세부 위치 정보가 줄어들 수 있다. HAT는 순차적인 조밀 예측으로 각 주시의 열지도를 출력해 이런 이산화의 제약을 줄인다.
대상 유무의 구분
시각 탐색은 대상이 장면 안에 있는 경우와 없는 경우를 나눠 평가한다. 목표가 없는 자유 관찰과 함께 비교하면 동일한 장면에서도 과제가 시선에 주는 영향을 살필 수 있다.
관련 문서
DeepGaze III / DeepGaze 3점5 VL / ST-DiffEye / 트랜스포머 / 컴퓨터 비전 / 딥러닝