자료를 압축하는 관점
모델 증류가 복잡한 모델의 지식을 작은 모델에 옮긴다면 데이터셋 증류는 자료 쪽을 압축한다. 모델을 정해 두고 큰 학습 자료의 효과를 소수의 예시로 전달하려는 접근이다.
합성 예시의 성격
합성한 예시는 원래 자료 분포에서 나온 자연스러운 예시일 필요가 없다. 학습 알고리즘에 제공했을 때 원하는 모델을 얻는 데 도움이 되는지가 핵심이다.
초기화 조건
원 연구는 고정된 신경망 초기화에서 소수의 경사 하강 단계로 학습하는 실험을 제시했다. 다른 초기화 설정과 학습 목적도 함께 평가했다.
성능 해석
작은 합성 자료로 원 자료의 학습 효과를 근사하는 것이 목표다. 결과를 비교할 때 합성 자료 수와 학습 단계, 초기화 설정을 함께 살펴봐야 한다.
관련 문서
기울기 정합 데이터 응축 / Data Diet / 데이터 가지치기와 스케일링 / 데이터 섀플리 / OpenDataVal / Datamodels