가중치와 출력의 관계
Jain과 Wallace는 여러 자연어 과제에서 어텐션 가중치와 기울기 중요도의 상관이 낮고 다른 가중치 분포로 비슷한 예측을 얻을 수 있음을 보였다. 조사한 표준 어텐션을 설명처럼 취급하는 데 문제를 제기했다.
정의와 설계에 대한 반론
Wiegreffe와 Pinter는 결론이 설명의 정의에 달리며 모델 전체를 고려한 실험이 필요하다고 주장했다. 기존 결과만으로 어텐션의 설명 가능성을 배제할 수 없다고 논의했다.
대안적인 검사
후속 연구는 균등 가중치 기준선과 여러 초기화의 분산 보정, 고정 가중치 진단 및 적대적 어텐션 학습이라는 네 검사를 제안했다. 어텐션 지도를 해석할 때 모델과 검사 조건을 함께 볼 필요를 보여주는 논쟁이다.
관련 문서
ERASER / 문맥 분해 / 계층적 중요도 귀속 / LIME / 적분 기울기 / 설명의 비충실도와 민감도