위치와 설명의 결합
어디를 언제 보았는지의 예측만으로는 그 주시의 이유를 설명하기 어렵다. GazeXplain은 시선 추적 자료에 주시별 자연어 설명을 주석으로 추가하고 공동 예측 문제를 다룬다.
주의와 언어 디코딩
주의·언어 디코더가 시선 경로를 예측하면서 설명을 생성한다. 좌표를 맞히는 과제와 문장을 만드는 과제를 함께 다루는 구성이다.
의미적 정렬
주시 위치와 설명이 서로 맞도록 의미 정렬 메커니즘을 사용한다. 여러 데이터셋을 공동 학습해 특정 자료의 표현에만 의존하는 정도를 줄이려 한다.
설명과 실제 이유
그럴듯한 설명이 생성되었다고 관찰자의 내적인 이유를 직접 측정한 것은 아니다. 예측 위치와 설명의 일치 여부, 설명의 정확도와 실제 사용자 보고를 구분해 해석해야 한다.
관련 문서
DeepGaze III / Gazeformer / AiR 주의 추론 프레임워크 / 시각 질의응답 / 멀티모달 학습 / 컴퓨터 비전