출력과 설명의 차이
영상에서 거의 알아보기 어려운 입력 변화가 있어도 모델 출력은 대체로 유지될 수 있다. 원 연구는 이런 상황에서 설명 결과를 크게 바꿀 수 있음을 보였다.
기하 구조와의 관계
이 현상이 신경망의 특정 기하적 성질과 연결됨을 이론적으로 분석했다. 이를 바탕으로 설명이 변화에 민감해지는 정도의 상한을 유도했다.
설명의 강건성
분석 결과를 이용해 설명의 강건성을 높이는 방식을 제안했다. 예측이 안정적이라는 사실과 설명도 안정적이라는 주장을 구분해 검토할 필요를 보여주는 연구다.
관련 문서
현저성 지도의 무작위화 검사 / ROAR 설명 평가 / 입력 기울기 설명 정규화 / SmoothGrad / 적분 기울기 / Quantus