중간 상태에서 출발
얼굴이 흐려지거나 잡음이 강하면 관측만으로 세부를 확정하기 어렵다. DifFace는 저품질 영상에서 확산 모델의 중간 상태로 가는 전이 분포를 설계한다. 이후 사전 학습된 모델을 반복 적용해 고품질 결과로 이동한다.
복원망과 생성 사전
전이 분포는 합성 데이터에서 L2 손실로 학습한 복원 기반망을 이용한다. 확산 중간 상태와 연결해 기반망의 오차 영향을 줄이려는 구성을 연구한다. 사전 학습 확산 모델을 쓴다는 것이 전체 과정에 학습된 복원망이 없다는 뜻은 아니다.
비슷한 관측의 예
설명용으로 얼굴의 작은 두 무늬 (0, 2)와 (2, 0)를 평균 한 값으로 관측하면 모두 1이다. 이 관측만으로 어느 무늬가 원래 있었는지 정할 수 없다. 얼굴 복원의 모호함을 보여주는 예이며 실제 모델의 영상 열화 식은 아니다.
동일성과 시각 품질
매끈하고 자연스러운 얼굴이 만들어져도 원래 사람의 미세한 특징이 같다고 보장할 수 없다. 눈과 입 주변 구조, 표정 및 얼굴 동일성을 함께 확인한다. 알려진 열화와 학습에 없던 열화를 나누어 평가하고 반복 전체의 실행 비용도 살핀다.