위키득계정 ↗
기술

CARLA 반사실 평가 도구

CARLA 반사실 평가 도구기술
연구 공개
2021년
발표
NeurIPS 데이터셋 및 벤치마크 트랙
이름
Counterfactual And Recourse LibrAry
원 연구 비교 규모
11개 설명 방법
CARLA는 반사실 설명과 알고리즘적 구제 방법을 같은 평가 틀에서 비교하기 위한 파이썬 라이브러리다. 서로 다른 자료와 모델에 설명 방법을 적용해 비교할 수 있도록 구성됐다.

비교 조건의 통일

반사실 설명 방법이 많아져도 공개 구현이 부족하면 쉽게 구할 수 있는 방법만 선택하기 쉽다. CARLA는 여러 자료와 학습 모델에 걸쳐 방법을 비교하는 벤치마크 환경으로 이 문제에 접근했다.

통합된 평가 구성

원 연구는 널리 쓰이는 열한 가지 반사실 설명 방법의 벤치마크를 제공했다. 평가 척도와 자료를 통합해 방법별 결과를 투명하게 비교할 수 있도록 했다.

후속 연구의 기준선

라이브러리는 새로운 설명 방법을 평가할 프레임워크로도 제안됐다. 원 연구의 실험 결과와 공개 구현은 후속 방법을 비교하기 위한 기준선을 제공한다.

관련 문서

반사실 설명 / DiCE 반사실 설명 / FACE 반사실 설명 / 프로토타입 기반 반사실 설명 / Growing Spheres / CEM 대조 설명