학습 알고리즘의 의존
검증 성능을 예시별로 나눠 계산하면 선택한 학습 알고리즘에 가치가 달라진다. LAVA는 학습 알고리즘이 정해지기 전에도 자료를 평가할 수 있는 관점을 제안했다.
성능의 대리 기준
학습 집합과 검증 집합 사이의 클래스별 바서슈타인 거리를 검증 성능의 대리 기준으로 사용한다. 특정 립시츠 조건에서 이 거리와 검증 성능 경계의 관계를 보였다.
개별 예시의 가치
클래스별 거리의 민감도를 분석해 예시별 값을 얻는다. 거리 계산의 최적화 솔버 출력에서 이 값을 구할 수 있도록 구성했다.
저품질 자료의 탐지
여러 저품질 자료 탐지 사례에서 평가했다. 후속 알고리즘의 반복 학습에 기대지 않고 자료 집합 사이의 관계로 가치를 계산하는 접근이다.
관련 문서
데이터 섀플리 / 복잡도 격차 데이터 점수 / Data Banzhaf / Data-OOB / DVRL / OpenDataVal