학습 과정의 정보
자료의 양만으로는 품질을 파악하기 어렵다. 이 방법은 한 번의 학습 실행에서 예시별 예측 행동을 기록해 자료의 성격을 살펴본다.
지도의 두 측정값
각 예시에 대해 정답 클래스에 대한 모델의 신뢰도와 에포크 사이에서 그 신뢰도가 달라지는 정도를 얻는다. 두 측정값은 자료만의 고정 속성이 아니라 학습 모델에 의존한다.
세 가지 영역
원 연구는 네 자료에서 배우기 쉬운 영역과 모호한 영역, 배우기 어려운 영역을 구분했다. 모호한 예시는 분포 밖 일반화에 기여했고 쉬운 예시는 최적화에서 중요한 역할을 보였다.
오류 진단의 해석
배우기 어려운 영역에서는 레이블 오류에 해당하는 예시가 자주 나타났다. 어려운 예시라는 이유만으로 오류라고 단정하는 규칙과는 구분되는 관찰이다.
관련 문서
학습 예시의 망각 / Data Diet / OpenDataVal / 데이터 섀플리 / Simfluence / Datamodels