양과 선택의 관계
자료나 모델의 크기를 늘릴 때 오류가 거듭제곱 형태로 감소하는 현상이 관찰된다. 이 연구는 자료 수를 늘리는 것과 함께 어떤 자료를 남기는지에 초점을 맞췄다.
이론의 조건
예시를 버리는 순서를 잘 정하는 고품질 지표가 주어지면 더 나은 스케일링이 가능하다는 이론을 제시했다. 모든 가지치기 방식이 이러한 결과를 낸다는 주장은 아니다.
영상 자료에서의 평가
CIFAR-10과 SVHN, ImageNet으로 학습한 ResNet에서 가지치기 후 자료 크기와 오류의 관계를 조사했다. ImageNet에서는 열 가지 가지치기 지표를 비교했다.
자기 지도 지표
큰 자료에서 기존 지표의 계산 비용과 레이블 의존성이 문제가 됐다. 원 연구는 이러한 부담을 줄이는 자기 지도 가지치기 지표를 제안하고 지도 지표와 성능을 비교했다.
관련 문서
Data Diet / OpenDataVal / 데이터 섀플리 / KNN 섀플리 / Data-OOB / Datamodels