다른 구조에서의 학습
합성 자료가 특정 신경망 구조에 맞춰지면 새로운 구조에서도 효과가 유지되는지가 문제가 된다. 이 연구는 구조 사이의 일반화와 고해상도 자료 확장을 함께 다뤘다.
사전 학습 생성 모델
이미 학습된 심층 생성 모델의 사전 지식을 합성 과정에 활용한다. 합성 자료를 생성 모델의 표현에 연결해 기존 증류 기법을 보완하는 방향이다.
잠재 공간의 특징 벡터
많은 영상을 소수의 중간 특징 벡터로 증류하는 최적화 알고리즘을 제시했다. 이 벡터들은 생성 모델의 잠재 공간에 놓이며 합성 학습 자료를 만드는 데 사용된다.
일반화 평가
원 연구는 여러 설정에서 기존 기법과 결합했을 때 구조 간 일반화를 평가했다. 결과의 범위는 실험에 사용한 생성 모델과 증류 설정을 함께 살펴봐야 한다.
관련 문서
데이터셋 증류 / 기울기 정합 데이터 응축 / 학습 궤적 정합 증류 / Data Diet / 데이터 가지치기와 스케일링 / Datamodels