확대와 생성의 결합
저해상도 관측 하나에 대응하는 고해상도 영상은 여럿일 수 있다. SR3는 그중 가능한 결과를 확률적인 잡음 제거 과정으로 생성한다. 입력을 그대로 보간한 값과 생성 과정에서 추정한 세부는 구분할 필요가 있다.
잡음에서 반복 정제
추론은 가우시안 잡음에서 시작해 저해상도 입력을 조건으로 반복 정제한다. U-Net은 서로 다른 잡음 수준에서 잡음을 제거하도록 학습한다. 같은 신경망을 여러 번 이용하므로 한 번의 순전파 시간과 전체 생성 시간은 다르다.
반복 비용의 예
설명용으로 한 번 처리에 5밀리초가 걸리는 단계를 40회 수행하면 반복 부분만 200밀리초다. 80회라면 400밀리초다. 실제로는 다른 연산도 필요하며 이 숫자는 SR3의 실제 단계 수나 성능 측정값이 아니다.
그럴듯함과 정확성
얼굴이나 자연 이미지에서 사진처럼 보이는 결과를 평가한다. 하지만 사람에게 자연스러워 보이는 것과 촬영된 원래 세부가 같은 것은 다르다. 여러 결과의 다양성, 입력과의 일관성 및 작은 구조를 함께 확인하고 단계 수에 따른 품질과 비용을 비교한다.
관련 문서
SRDiff / Palette 이미지 변환 / RePaint / Real-ESRGAN / LIIF / 확산 모델