위키득계정 ↗
기술

DDNM

DDNM기술
영문
Denoising Diffusion Null-Space Model
대상
선형 영상 역문제
주요 관점
관측과 영공간 성분 분리
학습
기존 확산 모델 활용
DDNM은 선형 관측의 영공간 성분을 확산 모델로 정제하는 영상 복원 방법이다. 기존 확산 모델을 생성 사전 정보로 활용하면서 관측에 맞는 결과와 자연스러운 결과를 함께 추구한다.

관측으로 정해지지 않는 부분

선형 관측은 영상의 일부 성분을 구분하지 못할 수 있다. DDNM은 이런 영공간 내용을 역확산 과정에서 정제한다. 관측을 만족하는 성분과 생성 사전 정보로 채울 성분을 구분하는 관점이 핵심이다.

추가 학습 없는 활용

사전 학습된 확산 모델을 사용하며 복원 작업을 위해 별도의 학습이나 네트워크 변경을 요구하지 않는 구성을 제안한다. 여기서 제로샷은 확산 모델 자체가 학습되지 않았다는 뜻이 아니다. 적용하려는 관측 연산에 대한 정보도 중요하다.

영공간의 간단한 예

설명용 연산 A가 두 값의 합을 반환한다고 하자. 벡터 (1, −1)을 더해도 합은 바뀌지 않으므로 이 벡터는 A의 영공간에 속한다. 관측값 4에는 (1, 3)과 (2, 2)가 모두 맞는다. 이는 선형 대수 예제이며 실제 영상 모형 전체를 나타내지 않는다.

잡음과 어려운 복원

잡음이 있는 복원과 어려운 작업을 위한 강화 구성 DDNM 플러스도 제안한다. 잡음 없는 관측의 정확한 일치 조건을 잡음 있는 경우에 그대로 적용하면 안 된다. 결과의 자연스러움과 관측 일관성, 여러 샘플의 차이 및 반복 비용을 함께 확인한다.

관련 문서

DDRM / SR3 / SRDiff / DPIR / RePaint / 영공간