하나의 관측과 여러 해
저해상도 입력에서 잃어버린 질감은 한 가지로 정해지지 않을 수 있다. SRDiff는 여러 가능한 복원 결과를 확률적으로 표현하는 방향을 택한다. 평균적인 단일 출력만 예측하는 문제와 결과 분포를 모델링하는 문제는 다르다.
조건부 확산과 잔차
가우시안 잡음을 저해상도 입력에 조건화된 고해상도 영상으로 점진적으로 변환한다. 학습에는 데이터 우도의 변분 경계를 바탕으로 한 목적을 사용하고 수렴을 돕기 위해 잔차 예측을 도입한다. 잔차라는 이름만으로 모든 확산 초해상도 구조와 같다고 볼 수는 없다.
다양한 결과의 평균
설명용으로 가능한 두 고해상도 패턴이 (0, 2)와 (2, 0)이라면 평균은 (1, 1)이다. 두 패턴은 경계가 있지만 평균은 평평하다. 가능한 해를 여러 개 표현하는 이유를 보여주는 독립 예제이며 실제 모델이 이 두 패턴만 생성한다는 뜻은 아니다.
결과를 판단하는 기준
서로 다른 생성 결과가 자연스러워도 실제 원본과 일치하는 것은 아니다. 다양성과 입력 일관성, 세부의 정확성을 함께 확인한다. 얼굴과 일반 이미지의 결과를 나누어 보고 생성 단계 전체의 실행 비용과 여러 번 샘플링할 때의 비용도 구분한다.
관련 문서
SR3 / RePaint / Palette 이미지 변환 / BSRGAN / Meta-SR / 확산 모델