이중 수준 최적화
데이터셋 증류는 바깥 루프에서 합성 자료를 최적화하고 안쪽 루프에서 그 자료로 모델을 학습하는 문제로 볼 수 있다. 안쪽 학습을 미분하는 과정은 큰 계산과 메모리를 요구한다.
특징 회귀의 활용
FRePo는 신경 특징 회귀를 활용해 이러한 메타 기울기 계산의 부담에 접근했다. 원 자료의 정보를 담은 작은 합성 학습 집합을 얻는 것이 목표다.
모델 풀과 과적합
모델 풀을 사용하는 알고리즘은 시간에 따른 잘린 역전파와 유사한 구성으로 설명됐다. 데이터셋 증류에서 나타나는 여러 종류의 과적합을 줄이려는 역할을 한다.
후속 과제의 평가
CIFAR-100과 Tiny ImageNet, ImageNet-1K에서 증류 성능을 평가했다. 연속 학습과 멤버십 추론 방어에서도 증류 자료의 활용을 조사했으며 개인정보 보호 자체를 보장하는 결과와는 구분된다.
관련 문서
데이터셋 증류 / KIP 데이터 메타 학습 / 기울기 정합 데이터 응축 / 학습 궤적 정합 증류 / 분포 정합 데이터 응축 / 생성 사전 기반 데이터 증류