예시를 통한 설명
입력의 어느 특징이 중요한지 표시하는 대신 어떤 학습 예시가 해당 예측과 연결되는지 보여준다. 분석의 단위는 시험 입력과 학습 자료 사이의 기여 관계다.
예측값의 분해
출력층 가중치에 양의 L2 정규화를 적용한 목적 함수의 정지점에서 분해 정리를 제시한다. 학습 예시와 시험 입력의 마지막 중간 특징 내적에 계수를 결합해 기여를 계산한다.
기여의 부호
양의 리프리젠터 값은 해당 예측을 강화하는 예시와 연결되고 음의 값은 억제하는 예시와 연결된다. 가까워 보이는 예시를 단순히 나열하는 것과는 다른 설명이다.
자료와 모델의 점검
이러한 예시는 오분류와 자료 집합의 문제를 살펴보는 데 사용됐다. 정리의 조건과 출력값 분해라는 의미를 유지하며 해석해야 한다.
관련 문서
TracIn / 영향 함수 기반 학습 자료 추적 / 데이터 섀플리 / ProtoPNet / LIME / SHAP