전체 자료를 모두 써야 하는가
학습 자료를 줄이면서도 일반화 성능을 유지할 수 있는지 조사한다. 여러 가중치 초기화에서 평균한 간단한 점수로 학습 초기에 중요한 예시를 구분하는 접근이다.
두 가지 점수
GraNd는 기울기의 노름에 바탕을 두고 EL2N은 오류의 L2 노름을 사용한다. 원 연구는 여러 구조와 자료에서 이러한 점수를 활용한 가지치기를 평가했다.
학습 시점의 차이
긴 학습 과정 전체의 망각을 추적하는 대신 초기의 국소 정보를 사용한다. 점수는 잡음이 있는 예시를 찾거나 학습 동역학을 조사하는 데도 활용됐다.
재현 연구의 구분
2023년 별도 재현 연구는 20에포크의 EL2N 결과를 재현했지만 초기화 시점 GraNd의 CIFAR-10 결과는 재현하지 못했다고 보고했다. 이후 학습 시점의 GraNd는 유용한 신호를 보였으므로 점수와 계산 시점을 함께 구분해야 한다.
관련 문서
데이터 섀플리 / KNN 섀플리 / Data-OOB / OpenDataVal / TracIn / 데이터 가지치기와 스케일링