정답 설명의 문제
어텐션과 기울기 기반 설명이 다를 때 어느 쪽을 기준으로 판단할지는 자명하지 않다. 한 설명 방법을 정답으로 놓으면 비교 결과에 그 방법의 전제가 함께 들어간다.
정의와 측정의 연결
이 연구는 설명의 구체적 정의를 먼저 세울 필요가 있다고 주장했다. 정의는 설명을 만드는 알고리즘뿐 아니라 그 설명을 평가할 지표의 선택에도 영향을 준다.
점수 차이의 해석
이론 분석과 실험에서는 같은 지표에서 방법별 성능 차이가 나타나더라도 그것이 곧 충실도의 차이를 뜻하지 않을 수 있음을 조사했다. 지표 자체의 편향 때문에 나타난 차이인지 구분하는 것이 평가의 쟁점이다.
관련 문서
어텐션 설명의 평가 논쟁 / 귀속 방법의 공정 평가 / 설명의 비충실도와 민감도 / Sensitivity-n / Quantus / ERASER