위키득계정 ↗
기술

설명 충실도와 사용자 신뢰

설명 충실도와 사용자 신뢰기술
연구 공개
2019년
발표
IJCAI X-AI 워크숍
연구 방법
사용자 실험
구분 대상
관찰된 신뢰와 보고된 신뢰
설명 충실도와 사용자 신뢰 연구는 예측의 정확성과 설명의 진실성이 사람의 신뢰에 어떻게 연결되는지 조사한다. 모델을 설명한다는 사실과 사용자가 실제로 의존하는 행동은 구분해서 측정한다.

정확성과 설명의 관계

연구는 분류기의 정확성과 설명이 실제 모델을 반영하는 정도를 바꿔 사용자 신뢰를 조사했다. 해당 실험에서는 설명 가능성보다 정확성이 신뢰에 더 큰 영향을 주었다.

설명이 신뢰를 낮추는 경우

분류 결과에 설명을 덧붙이는 것만으로 신뢰가 높아지지는 않았다. 의미 없는 설명을 제공할 때 신뢰가 낮아질 수 있었고, 충실한 설명도 성능이 나쁜 분류기를 신뢰하게 만드는 충분한 조건은 아니었다.

행동과 자기 보고

관찰한 행동에 드러나는 암묵적 신뢰와 참가자가 직접 보고하는 명시적 신뢰 사이에는 불일치가 나타났다. 이 결과는 설명 평가에서 사용자의 응답과 실제 행동을 같은 측정값으로 취급하기 어렵다는 점을 보여 준다.

관련 문서

정의 기반 설명 평가 / ERASER / LIME / SHAP / 개념 활성화 벡터 / 개념 병목 모델