목표별 검출기의 제약
찾을 수 있는 모든 물체마다 검출기와 시선 자료를 준비하면 확장에 부담이 생긴다. Gazeformer는 목표를 언어 표현으로 다루어 이 제약을 줄이려는 접근이다.
의미 유사성의 활용
자연어 모델로 목표를 인코딩하면 서로 관련된 물체 이름의 의미 정보를 활용할 수 있다. 목표 물체 검출 모듈을 직접 사용하는 방식과 구별된다.
ZeroGaze 설정
이 설정은 학습에서 탐색 대상으로 다루지 않은 물체에 대한 시선을 예측하는 과제다. 영상과 언어를 전혀 사전 학습하지 않았다는 의미의 무학습 설정과는 다르다.
대상 유무와 평가
연구는 목표가 있는 탐색과 없는 탐색도 평가한다. 경로 유사도와 시간 예측, 속도는 각각 다른 특성이므로 목표 종류와 입력 조건을 맞추어 비교해야 한다.
관련 문서
COCO-Search18 / Human Attention Transformer / 목표 부재 시선 탐색 모델 / 트랜스포머 / 제로샷 학습 / 컴퓨터 비전