위키득계정 ↗
기술

RePNP

RePNP기술
영문
Plug-and-Play with Deep Reinforcement Learning Prior
핵심 구성
강화 학습 기반 잡음 제거기
관심 조건
관측 모형 불일치
적용
흐림 제거 및 초해상도
RePNP는 심층 강화 학습으로 학습한 잡음 제거기를 플러그 앤 플레이 복원에 사용하는 방법이다. 가정한 관측 모형과 실제 촬영 과정이 어긋나는 상황에서 복원의 견고성을 높이는 문제를 다룬다.

관측 모형이 틀리는 경우

플러그 앤 플레이는 알려진 관측 모형과 학습한 잡음 제거기를 결합해 여러 역문제를 다룰 수 있다. 실제로는 흐림이나 축소 과정을 정확히 알기 어렵다. 잘못 가정한 관측 모형을 쓰면 기존 잡음 제거기를 결합한 복원이 만족스럽지 않을 수 있다.

강화 학습 기반 사전 정보

RePNP는 가벼운 심층 강화 학습 기반 잡음 제거기를 이용한다. 결정론적 최적화로 학습한 기존 제거기에 의존할 때의 견고성 한계를 다루려는 접근이다. 제거기를 결합하는 틀과 제거기 자체를 학습하는 방법을 구분해 이해해야 한다.

불일치의 독립 예

설명용 관측은 이웃 두 값을 평균 낸 결과인데 복원기는 첫 번째 값만 취한 것으로 가정한다고 하자. 입력이 같아도 어떤 원본을 설명할 수 있는지가 달라진다. 이것은 관측 모형 불일치의 예이며 논문의 실제 열화 설정이나 강화 학습 보상을 나타내지 않는다.

견고성의 범위

흐림 제거와 초해상도에서 관측 모형의 어긋남에 대한 실험을 다룬다. 특정 불일치 조건에서 견고하다는 결과가 관측 과정에 대한 정보가 전혀 필요 없다는 뜻은 아니다. 정확한 모형을 쓴 경우와 틀린 모형을 쓴 경우를 분리해 확인한다.

관련 문서

DPIR / DiffPIR / DDRM / DDNM / DPS 확산 사후 샘플링 / SADNet