여러 단계의 목표
합성 자료로 학습한 신경망이 실제 자료로 학습한 신경망과 비슷한 상태에 도달하도록 한다. 여러 학습 단계에 걸친 상태의 유사성을 데이터 증류의 목표로 구성했다.
매개변수 거리
주어진 신경망을 합성 자료로 여러 번 갱신한다. 그렇게 얻은 매개변수와 실제 자료로 학습한 매개변수 사이의 거리를 기준으로 합성 자료를 최적화한다.
전문가 궤적의 저장
큰 자료에서 시작 상태와 목표 상태를 효율적으로 얻기 위해 실제 자료로 학습한 전문가 신경망의 궤적을 미리 계산해 저장한다. 저장한 상태를 증류 과정의 참조로 사용한다.
영상 자료의 증류
원 연구는 기존 증류 방법과 비교하고 더 높은 해상도의 영상 자료에도 적용했다. 작은 합성 집합으로 학습 효과를 전달한다는 목표를 학습 경로의 상태 정합으로 구현한 접근이다.
관련 문서
데이터셋 증류 / 기울기 정합 데이터 응축 / 생성 사전 기반 데이터 증류 / Data Diet / 데이터 가지치기와 스케일링 / OpenDataVal