위키득계정 ↗
기술

DiffPIR

DiffPIR기술
관련 논문
Denoising Diffusion Models for Plug-and-Play Image Restoration
방식
플러그앤플레이 및 확산 샘플링
사전 정보
확산 기반 생성형 잡음 제거
평가 관점
복원 충실도와 지각 품질
DiffPIR은 플러그앤플레이 영상 복원과 확산 샘플링을 결합하는 방법이다. 확산 모델을 생성형 잡음 제거 사전 정보로 활용해 초해상도, 흐림 제거와 인페인팅을 다룬다.

생성형 잡음 제거 사전

기존 플러그앤플레이 복원은 학습한 잡음 제거기를 영상 사전 정보로 사용할 수 있다. DiffPIR은 확산 모델의 생성 능력을 이 틀에 연결한다. 판별형 가우시안 잡음 제거기만 사용하는 구성과 차이가 있다.

샘플링 안의 복원

전통적인 플러그앤플레이 접근을 확산 샘플링 과정에 통합한다. 관측 자료에 맞추는 역할과 생성 사전 정보의 역할을 함께 활용한다. 최종 결과가 자연스럽다는 이유만으로 원래 촬영된 세부를 정확히 되찾았다고 볼 수는 없다.

평가 횟수와 시간

설명용으로 신경망 평가 한 번이 8밀리초이고 50번 평가하면 해당 부분은 400밀리초다. 같은 평가 횟수라도 장치나 해상도가 달라지면 시간은 달라진다. 이는 계산 예제이며 DiffPIR의 실제 단계 수나 속도 측정값이 아니다.

비교할 비용과 품질

초해상도와 흐림 제거 및 인페인팅을 나누어 복원 충실도와 지각 품질을 평가한다. 신경망 함수 평가 횟수와 전체 실행 시간은 다른 지표다. 관측 연산 및 입력 해상도, 잡음 조건을 맞추고 반복 전체의 메모리와 처리 시간을 확인한다.

관련 문서

DPS 확산 사후 샘플링 / DPIR / DDRM / DDNM / RePaint / SRDiff