손상마다 다른 모형의 부담
열화 종류마다 복원망을 따로 준비하면 입력이 어떤 손상인지 먼저 알아야 할 수 있다. PromptIR은 여러 종류와 강도를 하나의 모형에서 다루는 통합 복원을 목표로 한다. 열화의 사전 정보를 제공하지 않는 조건이 핵심이다.
학습 프롬프트의 역할
프롬프트는 열화에 특화된 정보를 담아 복원망을 동적으로 안내한다. 여기서 프롬프트는 사용자가 문장으로 손상 종류를 입력해야 한다는 뜻이 아니다. 학습된 표현이 복원 특징에 열화 문맥을 전달하는 역할이다.
적용 범위와 일반화
잡음 제거, 비 제거, 안개 제거에서 다양한 손상 수준을 다룬다. 경량 모듈과 적은 프롬프트를 사용하지만 학습하지 않은 모든 손상이 자동으로 해결된다는 보장은 아니다. 복합 열화와 입력 분포의 차이도 확인해야 한다.
겹친 열화의 독립 예
설명용으로 안개가 낀 장면에 센서 잡음까지 있으면 대비를 높일 때 잡음도 눈에 띌 수 있다. 한 열화의 개선이 다른 열화의 개선과 같은 효과는 아니다. 실제 연구 결과를 옮기지 않은 복합 손상의 평가 예다.
관련 문서
PromptCIR / Restormer / NAFNet / SwinIR / DIIP / SRWD 영상 초해상도