여러 단계를 압축하기
많은 단계를 사용하는 학습된 추출기를 출발점으로 삼는다. 학생 모형이 절반의 추출 단계로 대응하도록 증류한 뒤, 그 모형을 대상으로 같은 절차를 이어 간다.
적은 단계에서의 안정성
추출 단계가 적을 때 모형의 예측 매개변수화가 안정성에 영향을 준다. 연구는 단계 수를 줄이는 증류와 함께 이러한 예측 표현의 변경을 제안했다.
학습 비용과 생성 비용
원 연구는 여러 이미지 자료에서 네 단계까지 줄이는 설정을 평가했다. 이는 이미 훈련된 모형에 추출 해법만 교체하는 방식과 달리, 생성 비용을 줄이기 위한 추가 학습 절차다.
관련 문서
DDIM / DDPM / 지식 증류 / DPM-Solver / 일관성 생성 모형 / 안내 확산 모형 증류