위키득계정 ↗
기술

ResShift

ResShift기술
관련 논문
Efficient Diffusion Model for Image Super-resolution by Residual Shifting
대상
확산 기반 초해상도
주요 관점
잔차 이동 마르코프 연쇄
제어 요소
이동 속도 및 잡음 일정
ResShift는 고해상도와 저해상도 영상 사이의 잔차를 이동시키는 확산 과정을 설계한 이미지 초해상도 방법이다. 생성 경로 자체를 바꾸어 필요한 샘플링 단계 수를 줄이는 것을 목표로 한다.

확산 경로의 설계

일반 확산 생성에서 많은 반복이 필요하면 복원 속도가 느려질 수 있다. ResShift는 기존 경로를 추론 시점에 단순히 짧게 자르는 대신 고품질과 저품질 사이의 전이 과정을 설계한다. 두 영상 사이의 잔차를 옮기는 관점이 핵심이다.

이동과 잡음의 조절

잡음 일정으로 잔차 이동 속도와 확산 중 잡음 강도를 조절한다. 결정적인 내용 이동과 확률적인 교란의 역할을 함께 고려한다. 잔차를 사용한다는 사실만으로 일반 잔차 신경망의 한 블록과 같은 과정은 아니다.

전체 비용의 예

설명용으로 반복 한 번이 10밀리초이고 나머지 처리가 30밀리초라면 15번 반복은 총 180밀리초다. 반복을 5번으로 줄이면 80밀리초다. 반복 수는 3분의 1이지만 전체 시간은 3분의 1이 아니다. 이는 비용 예제이며 실제 측정값이 아니다.

품질과 속도의 비교

원 연구는 적은 샘플링 단계로 합성 및 실제 영상의 초해상도를 평가한다. 단계 수 감소만으로 모든 장치에서의 속도를 단정할 수 없다. 작은 질감과 입력 구조의 보존, 자연스러움 및 전체 처리 시간을 같은 조건에서 비교한다.

관련 문서

SinSR / SR3 / SRDiff / DifFace / DiffBIR / 확산 모델