공통 평가의 필요
모델의 예측 근거를 설명하는 연구가 서로 다른 자료와 과제 및 지표에서 진행되면 성과를 비교하기 어렵다. ERASER는 이런 비교를 돕는 공통 벤치마크로 제안됐다.
사람이 주석한 근거
여러 자료 집합과 과제에서 예측을 뒷받침하는 근거의 사람 주석을 모았다. 모델이 제시한 근거가 이 주석과 얼마나 잘 맞는지 평가하는 지표를 포함한다.
모델에 대한 충실성
사람과 비슷한 근거를 제시하는 것과 그 근거가 모델의 예측에 영향을 주는 것은 별도 문제다. ERASER는 예측에 대한 근거의 영향 정도를 나타내는 충실성 지표도 제안했다.
관련 문서
신경 예측의 근거 추출 / 충분 입력 부분 집합 / 문맥 분해 / 계층적 중요도 귀속 / 어텐션 설명의 평가 논쟁 / Quantus