질문에 따라 달라지는 관찰
자유롭게 사진을 보는 상황과 질문에 답하려고 보는 상황은 다른 정보를 요구할 수 있다. 연구는 질문에 조건화한 시선 패턴을 만들어 과제 수행과 주시 경로의 관계를 살핀다.
순서 예측의 학습
자기 비판적 시퀀스 학습으로 시선 경로 예측의 노출 편향을 다룬다. 학습 때의 앞선 입력과 실제 생성 때의 앞선 출력이 달라지는 문제를 고려하는 구성이다.
정답과 오답 구별
일관성·발산 손실을 설계해 정답과 오답에 연결된 경로를 구별한다. 위치를 예측하는 것뿐 아니라 서로 다른 과제 결과에 관련된 시선 패턴을 학습하려는 목적이다.
관계와 원인의 차이
정답을 낸 사람에게서 보인 경로를 따라간다고 누구나 같은 답을 낸다는 보장은 없다. 시선과 과제 성능의 통계적 관계를 사람의 추론 과정을 완전히 규명한 결과와 구분해야 한다.
관련 문서
AiR 주의 추론 프레임워크 / GazeXplain / Gazeformer / 시각 질의응답 / 강화 학습 / 컴퓨터 비전