위키득계정 ↗
기술

SHAP

SHAP기술
발표
NeurIPS 2017
영문 이름
SHapley Additive exPlanations
설명 대상
특정 입력의 예측
주요 표현
특징별 가산 기여도
SHAP은 개별 예측에 대해 입력 특징마다 중요도를 부여하는 설명 프레임워크다. 여러 설명 방식을 가산적인 특징 기여도라는 관점에서 연결한다.

특징 중요도의 해석

복잡한 모델의 한 예측이 어떤 입력 특징과 관련되는지 수치로 나타낸다. SHAP은 특징마다 중요도를 부여해 개별 예측의 설명을 구성한다.

가산 설명의 공통 구조

원 연구는 여러 기존 설명 방식을 가산적인 특징 중요도 모형의 한 부류로 정리했다. 서로 다른 방법의 관계와 전제 조건을 공통된 틀에서 살펴보려는 접근이다.

성질과 해의 관계

정해진 설명 모형의 부류에서 바람직한 성질을 만족하는 해에 관한 이론을 제시했다. 이런 결과의 범위는 설정한 모형과 성질에 해당하며 모든 종류의 설명이 유일하다는 뜻은 아니다.

계산 방법의 평가

기존 여섯 방법을 연결해 분석하고 새로운 계산 방법을 제안했다. 계산 성능과 사람의 직관에 대한 일관성을 기존 방식과 비교했다.

관련 문서

LIME / 적분 기울기 / SENN / ROAR 설명 평가 / 현저성 지도의 무작위화 검사 / 개념 병목 모델