비교 목표와 예시 선택
자료 증류에서는 기울기와 특징 분포, 학습 궤적 등 다양한 정합 목표를 사용한다. DREAM은 그 목표와 별개로 어떤 원본 예시를 선택해 비교할지에 초점을 맞췄다.
무작위 표본의 문제
원 연구는 단순한 무작위 선택이 표본 분포의 고름과 다양성을 충분히 통제하지 못한다고 지적했다. 이로 인해 잡음이 있거나 편향된 정합 목표와 불안정한 최적화가 생길 수 있다고 봤다.
대표 예시와의 정합
DREAM은 대표성 있는 원본 영상만 골라 정합에 사용하는 전략을 제안했다. 합성 집합으로 지식을 전달하는 과정에서 비교 자료의 구성을 조절하는 접근이다.
기존 증류와의 결합
여러 기존 데이터셋 증류 프레임워크에 결합해 반복 횟수와 성능을 평가했다. 효율의 개선은 해당 비교 설정에서 조사한 결과이며 합성 자료 수와 학습 조건도 함께 고려해야 한다.
관련 문서
데이터셋 증류 / 기울기 정합 데이터 응축 / 분포 정합 데이터 응축 / 학습 궤적 정합 증류 / 샴 증강 데이터 응축 / FRePo