시각적인 유사성의 한계
영상의 경계만 찾아도 사람이 보기에 그럴듯한 지도를 만들 수 있다. 이런 지도는 학습한 모델에 의존하지 않으므로 외형만으로 예측을 설명한다고 판단하기 어렵다.
모델의 변화
학습한 모델의 지도와 같은 구조의 무작위 초기화 모델에서 얻은 지도를 비교한다. 결과가 거의 같으면 학습된 매개변수에 민감하지 않은 설명일 수 있다.
레이블 관계의 변화
정상 레이블로 학습한 모델과 레이블을 무작위로 섞어 학습한 모델을 비교한다. 영상과 범주의 학습 관계가 바뀌었을 때 설명도 달라지는지 살펴본다.
과제에 맞는 해석
원 연구는 일부 설명 방식이 이런 변화에 둔감함을 보였다. 검사는 모델 디버깅처럼 학습된 관계에 충실한 설명이 필요한 목적에 해당 방식을 사용할 수 있는지 판단하는 근거다.
관련 문서
ROAR 설명 평가 / Grad-CAM / Score-CAM / SmoothGrad / 적분 기울기 / 클래스 활성화 지도