예측 주변의 근사
복잡한 분류기라도 한 예측 주변의 동작은 더 간단한 모델로 설명할 수 있다는 관점이다. LIME은 해당 예측 근처에서 해석 가능한 모델을 학습한다.
국소 설명의 의미
설명은 선택한 예측 주변에서의 모델 반응을 나타낸다. 이 때문에 하나의 설명이 모든 입력에서 원래 모델과 같은 규칙으로 작동한다는 뜻은 아니다.
대표 설명의 선택
원 연구는 중복을 줄이면서 대표적인 개별 예측과 설명을 제시하는 방법도 함께 다뤘다. 이 선택을 부분 모듈러 최적화 문제로 표현해 모델 전반을 살펴보도록 한다.
사람과 모델의 평가
텍스트와 이미지 분류기를 대상으로 실험했다. 사람이 예측을 신뢰할지 판단하고 모델을 비교하거나 잘못된 분류기를 개선하는 데 설명이 주는 도움을 조사했다.
관련 문서
SHAP / SENN / 적분 기울기 / ROAR 설명 평가 / 현저성 지도의 무작위화 검사 / TCAV