전체와 세부의 이중 안내
복원에 필요한 장면의 전체 표현과 세부 정보는 역할이 다를 수 있다. MPerceiver는 두 갈래 모듈로 텍스트 프롬프트와 시각 프롬프트를 학습한다. 생성 사전의 활용과 관측 내용의 충실도를 함께 다룬다.
열화 예측에 맞춘 조정
CLIP 이미지 인코더의 열화 예측으로 두 프롬프트를 동적으로 조절한다. 알 수 없는 다양한 손상에 적응하도록 하는 방향이다. 입력의 열화를 예측한다는 점과 예측이 항상 정확하다는 보장은 구분해야 한다.
세부 정보의 직접 전달
플러그인 세부 정제 모듈이 인코더에서 디코더로 정보를 직접 변환해 복원 충실도를 보완한다. 여러 과제로 사전 학습한 뒤 미관측 과제의 제로샷 및 소수 예제 성질을 평가한다. 생성된 세부와 실제 관측 세부는 같은 근거로 다루어서는 안 된다.
세부 충실도의 독립 예
설명용으로 건물 외벽의 큰 구조가 맞아도 창문 틀의 간격이 달라질 수 있다. 장면의 의미가 맞는 것과 국소 패턴이 보존되는 것은 다른 항목이다. 실제 연구의 복원 이미지를 옮기지 않은 전체와 세부 평가의 예다.
관련 문서
Stable Diffusion / CLIP / Perceive-IR / PromptIR / PIP 이미지 복원 / InstructRestore