기준 입력과 비교
입력 특징이 예측에 기여한 정도를 기준 입력과의 차이로 다룬다. 어떤 기준을 택했는지가 기여도의 해석에 포함되는 구성이다.
경로를 따라 누적하기
기준 입력과 실제 입력을 잇는 직선 위에서 기울기를 계산한다. 각 특징의 입력 차이에 경로의 기울기 적분을 곱해 기여도를 구한다.
기여도의 원칙
출력을 바꾼 특징을 놓치지 않는 민감성과 같은 함수를 구현한 모델에는 같은 기여도를 주는 구현 불변성을 고려했다. 적절한 조건에서 기여도의 합은 두 입력의 출력 차이와 같아진다.
여러 입력의 활용
기존 신경망을 수정하지 않고 기울기 연산으로 계산하도록 제안했다. 원 연구는 영상과 텍스트, 화학 모델에 적용해 디버깅과 모델 이해의 활용을 조사했다.
관련 문서
SmoothGrad / Grad-CAM / Score-CAM / 클래스 활성화 지도 / RIB 약한 감독 분할 / 비판별 특징 활성화 지도