손상 종류와 수준을 함께 보기
같은 잡음이나 흐림이라도 강도가 다르면 필요한 처리가 달라질 수 있다. Perceive-IR는 손상 유형과 심각도를 동시에 구분하는 품질 인식에 주목한다. 특수한 기반망 하나에만 묶이지 않는 모듈 구조를 제안한다.
세 수준의 품질 지각기
CLIP 지각 공간에서 프롬프트와 이미지의 정렬을 최적화해 세 품질 수준을 구별하는 지각기를 학습한다. 이 단계는 이후 복원에 쓸 품질 단서를 마련한다. 세 수준의 구분이 모든 연속적인 품질 차이를 완전히 나타내는 것은 아니다.
난이도에 맞춘 복원 학습
복원 단계에서 품질 지각기와 난이도 적응형 지각 손실을 결합한다. 결과를 정답 쪽으로 보내면서 낮거나 중간 품질 표본에서 멀어지도록 학습한다. 품질 인식의 정확성과 최종 복원의 원본 충실도는 별도로 확인할 항목이다.
난이도 차이의 독립 예
설명용으로 균일한 하늘의 약한 잡음과 복잡한 나뭇가지의 강한 잡음은 같은 학습 난이도라고 보기 어렵다. 밝기만 같다고 같은 처리가 적절한 것은 아니다. 실제 표본이나 실험값을 사용하지 않은 품질 및 난이도 해석의 예다.
관련 문서
잠재 사전 부호화 통합 복원 / PromptIR / ProRes 이미지 복원 / CLIP / DIIP / Q-Insight