최적화 과정의 분리
모델과 합성 자료를 함께 최적화하는 이중 수준 학습은 계산과 메모리 부담이 클 수 있다. SRe2L은 모델 학습과 자료 합성을 분리해 큰 자료와 해상도에 대응하려 한다.
모델에 정보 압축
처음에는 실제 자료로 신경망을 학습해 주요 정보를 담는다. 그 모델에서 얻은 배치 정규화 통계는 이후 합성 자료를 만드는 기준으로 쓰인다.
복원과 재레이블링
복원 단계에서는 학습된 모델의 배치 정규화 통계를 맞추며 합성 자료를 만든다. 이후 첫 단계의 모델을 활용해 합성 자료에 레이블을 다시 부여한다.
규모에 대한 평가
Tiny-ImageNet과 전체 ImageNet-1K에서 실험했다. 합성 해상도와 모델 구조를 달리하며 학습 비용 및 메모리 사용과 분류 성능을 조사했다.
관련 문서
데이터셋 증류 / FRePo / 학습 궤적 정합 증류 / 분포 정합 데이터 응축 / DataDAM / DREAM 데이터 증류