지표가 보는 차이
지표마다 잘못 강조한 위치와 놓친 위치를 다루는 방식이 다를 수 있다. 공간적 편차를 반영하는지, 관찰자의 위치 편향을 고려하는지와 정답 표현도 점수에 영향을 준다.
모델과 지도 구분
확률적 모델이 예측하는 주시 밀도와 화면에 출력하는 현저성 지도는 구분할 수 있다. 같은 밀도 예측에서도 평가 지표의 기대 점수를 높이도록 변환한 지도가 달라질 수 있다.
하나의 지도로 모든 평가하기
AUC, NSS, CC 등 서로 다른 지표에 동일한 지도만 제출하면 표현 방식의 차이가 모델 평가에 섞일 수 있다. 관련 연구는 모델 밀도에서 지표에 맞는 지도를 도출하는 원리를 제시한다.
재현 가능한 비교
가령 같은 지도에 다른 평활화나 정규화를 적용하면 점수가 바뀔 수 있다. 지표 이름뿐 아니라 정답 구성과 전처리, 기준선과 자료 분할까지 명시해야 비교의 의미를 파악할 수 있다.
관련 문서
DeepGaze IIE / DeepGaze III / SALICON / 확률 분포 / ROC 곡선 / 컴퓨터 비전