설명에 나타나지 않는 편향
설명은 모델의 체계적 오류와 편향을 점검하는 데 쓰일 수 있다. 원 연구는 입력 섭동에 의존하는 설명이 적대적으로 구성한 모델에서 실제 행동을 반영하지 못할 수 있음을 보였다.
행동과 설명의 불일치
연구의 모델 구성에서는 입력 자료 분포에서 편향된 예측이 유지되지만 사후 설명은 무해한 것처럼 나타났다. 설명 결과만으로 편향의 부재를 확인하기 어렵다는 점을 드러낸다.
실험 결과의 범위
COMPAS를 포함한 여러 실제 자료에서 이러한 취약성을 평가했다. 결과는 제시한 적대적 설정의 관찰이며 모든 입력과 모델에서 설명이 항상 실패한다는 뜻으로 확대해서는 안 된다.
관련 문서
LIME / SHAP / 설명 지도의 기하적 민감도 / 설명의 비충실도와 민감도 / 현저성 지도의 무작위화 검사 / Quantus