여러 복원망을 따로 두는 문제
과제별 모형을 각각 저장하면 공간 부담이 커질 수 있고 처리 선택도 경직될 수 있다. PIP는 기존 복원망을 통합 복원에 활용하는 플러그인 모듈을 제안한다. 과제별 지식과 기본 복원 정보를 연결하는 방향이다.
프롬프트 안의 프롬프트
열화 인식 프롬프트는 상위 손상 지식을 부호화하고 기본 복원 프롬프트는 필수적인 낮은 수준 정보를 제공한다. 두 표현을 프롬프트 간 상호 작용 모듈로 합쳐 통합 복원 프롬프트를 만든다.
선택적인 특징 조절
선택적 프롬프트 특징 상호 작용 모듈이 열화 관련 특징을 조절한다. 잡음과 비, 안개, 흐림 제거 및 저조도 향상을 다룬다. 여러 과제에 쓰이는 모듈이라는 사실과 서로 다른 손상이 모두 완벽히 분리되는 것은 다르다.
역할 분리의 독립 예
설명용으로 흐림이라는 상위 손상 단서와 가는 선을 유지해야 한다는 국소 정보는 다른 수준의 설명이다. 두 정보를 조합해도 입력에 없던 선의 원래 모양을 확정할 수 있는 것은 아니다. 실제 연구 결과를 옮기지 않은 정보 결합의 예다.
관련 문서
TextPromptIR / PromptIR / PromptCIR / Restormer / NAFNet / DIIP