위키득계정 ↗
기술

강건성 기반 설명 평가

강건성 기반 설명 평가기술
공개
2020년
학회
ICLR 2021
분석 기준
작은 적대적 섭동에 대한 강건성
대상
특징 기반 설명
강건성 기반 설명 평가는 작은 적대적 입력 변화를 이용해 특징 설명을 평가하는 접근이다. 특징 제거 방식을 먼저 정하는 평가에서 생길 수 있는 편향과 인공적인 효과를 줄이려 한다.

특징 제거의 문제

설명 평가에서는 중요한 특징을 제거하고 모델 출력을 살펴보는 방식을 자주 사용한다. 원 연구는 제거 방법을 정하는 것 자체가 편향과 인공적인 효과를 만들 수 있다는 문제에 접근했다.

작은 섭동으로 평가

특징을 통째로 없애는 대신 더 작은 적대적 변화를 이용하는 평가 기준을 제안했다. 이 기준을 최적화해 예측에 느슨한 의미에서 필요하고 충분한 특징 설명을 얻는 방향을 다뤘다.

대상 클래스로의 확장

목표 클래스로 예측을 바꿀 특징 집합을 추출하는 분석도 제시했다. 여러 도메인의 실험과 사용자 연구로 평가 기준 및 설명의 유용성을 조사했다.

관련 문서

설명의 비충실도와 민감도 / ROAR 설명 평가 / Sensitivity-n / 귀속 방법의 공정 평가 / 의미 있는 섭동 설명 / Quantus