합성 자료의 학습 효과
작은 합성 집합으로 원 자료의 정보를 전달하더라도 전체 집합으로 학습한 모델과 성능 차이가 남을 수 있다. DataDAM은 증류 성능과 합성 비용을 함께 다루는 접근이다.
여러 층의 공간 정보
무작위로 초기화한 신경망 계열의 서로 다른 층에서 실제 자료와 합성 자료의 공간 주의 지도를 얻는다. 이 지도들이 맞아지도록 합성 영상을 학습한다.
영상 분류의 평가
CIFAR-10과 CIFAR-100, Tiny ImageNet, ImageNet-1K 및 그 부분 집합에서 비교했다. 원 연구의 개선 결과는 합성 집합의 크기 등 해당 실험 설정을 전제로 한다.
후속 활용
연속 학습과 신경망 구조 탐색에서도 증류 영상의 활용을 조사했다. 목표는 보기 좋은 영상 자체가 아니라 학습에 유용한 정보를 담는 작은 자료 집합이다.
관련 문서
데이터셋 증류 / 분포 정합 데이터 응축 / 기울기 정합 데이터 응축 / 학습 궤적 정합 증류 / SRe2L / DREAM 데이터 증류