결과만으로 알 수 없는 것
정답을 냈다고 모델이 적절한 근거를 보았다고 단정할 수는 없다. AiR은 최종 과제 결과에 이르는 동안 주의가 어떻게 진행되는지를 분석 대상으로 삼는다.
단계별 주의 평가
원자적인 추론 연산의 순서를 바탕으로 주의를 측정하는 지표를 정의한다. 단순히 한 장의 최종 주의 지도만 비교하는 대신 추론 과정과의 관계를 고려한다.
사람과 모델의 비교
사람의 시선 추적 및 답의 정오 자료를 수집해 여러 주의 메커니즘을 분석한다. 시선을 어느 곳에 두었는지와 답이 맞았는지를 함께 보아 주의와 성능의 관계를 살핀다.
점진적인 학습 지도
추론 과정에 따라 주의를 점진적으로 지도하고 적절한 주의 패턴과 부적절한 패턴을 구별하도록 학습한다. 이때 모델의 주의 값과 사람의 내적인 사고 과정이 동일하다고 가정할 필요는 없다.
관련 문서
GazeFollow / SALICON / DeepGaze III / 시각 질의응답 / 주의 메커니즘 / 컴퓨터 비전