자료의 근사
원 연구는 자료 집합의 입실론 근사라는 개념을 도입했다. 원 집합보다 훨씬 작거나 크게 변형된 자료라도 모델의 성능을 비슷하게 유지하는 구성을 살펴본다.
커널 회귀와의 관계
무한히 넓은 신경망과 커널 릿지 회귀 사이의 대응에서 영감을 얻었다. KIP는 이러한 연결을 활용해 작은 학습 자료를 만드는 메타 학습 알고리즘이다.
작은 자료의 평가
커널 릿지 회귀 과제에서 자료 압축을 평가하고 MNIST와 CIFAR-10 분류 실험을 제시했다. 결과는 해당 모델과 자료를 대상으로 한 비교다.
유한 폭 신경망으로의 이전
학습된 작은 자료를 유한 폭 신경망의 학습에도 이전하는 실험을 했다. 커널 관점에서 얻은 자료가 신경망 학습에 활용될 수 있는지를 조사한 접근이다.
관련 문서
데이터셋 증류 / 기울기 정합 데이터 응축 / 분포 정합 데이터 응축 / FRePo / 학습 궤적 정합 증류 / 샴 증강 데이터 응축