위키득계정 ↗
기술

SinSR

SinSR기술
관련 논문
Diffusion-Based Image Super-Resolution in a Single Step
대상
단일 단계 초해상도 생성
방법
결정적 샘플링 대응의 증류
학습 요소
일관성 보존 손실
SinSR은 확산 기반 초해상도의 여러 단계 생성 경로를 학생 모델에 증류해 한 단계로 결과를 만드는 방법이다. 교사의 결정적인 대응을 학습하면서 정답 영상도 활용해 복원 품질을 개선한다.

여러 단계를 한 번으로

확산 초해상도는 반복 횟수가 많으면 실제 사용에서 지연이 커진다. SinSR은 교사의 다단계 생성 과정을 학생 모델에 전달해 한 번의 추론으로 고해상도 결과를 생성한다. 추론이 한 단계라는 말은 학습도 한 번의 연산으로 끝난다는 의미가 아니다.

결정적 대응의 학습

효율적인 확산 초해상도 방법에서 결정적 샘플링 과정을 유도한다. 입력 잡음과 생성된 고해상도 영상 사이의 대응을 학생이 학습한다. 일관성 보존 손실로 정답 영상도 함께 이용해 교사 결과만 따라가는 것에 머물지 않도록 한다.

학습 비용과 추론 비용

설명용 교사가 샘플마다 15번 평가되고 학생은 한 번 평가된다고 하자. 학습용 교사 출력 100개를 만들려면 교사 평가가 1,500번 필요할 수 있다. 추론 횟수가 줄어도 학습 자료 생성 비용은 별도라는 예이며 실제 학습 절차의 고정 수치가 아니다.

한 단계 결과의 판단

한 단계 생성은 전체 파이프라인의 전처리와 디코딩이 없어진다는 뜻이 아니다. 실제 해상도에서 전체 처리 시간을 확인해야 한다. 합성 및 실제 열화에서 입력 내용의 보존과 자연스러운 질감, 작은 글자의 왜곡을 함께 비교한다.

관련 문서

ResShift / SR3 / SRDiff / DiffBIR / DifFace / 지식 증류