입력에서 복원 단서 찾기
실제 영상의 손상은 공간마다 다르거나 여러 종류가 섞일 수 있다. 이 방법은 외부 텍스트 과제 단서를 요구하지 않고 입력에서 학습된 잠재 사전을 추론한다. 사전 정보를 쓰지 않는다는 말보다 입력에서 필요한 표현을 추정한다는 설명이 정확하다.
세 역할로 나눈 단서
어떤 특징을 보낼지 정하는 적응 선택, 어느 영역을 다룰지 정하는 공간 위치, 손상의 성격을 나타내는 의미를 구분한다. 같은 손상 범주라도 위치와 특징의 유용성이 다를 수 있다는 점을 반영한다.
공간 적응형 복원
잠재 부호화 단서를 효율적으로 활용하는 경량 디코더를 설계한다. 여러 손상과 복합 조건, 미관측 손상에서 평가한다. 경량이라는 설계 목표를 모든 환경에서 같은 속도 개선이 나온다는 보장으로 제시해서는 안 된다.
공간 차이의 독립 예
설명용으로 창밖에는 안개가 있고 실내 어두운 벽에는 잡음이 두드러질 수 있다. 전체에 동일한 강도의 처리를 적용하면 두 영역의 필요가 충돌할 수 있다. 실제 연구 이미지를 옮기지 않은 공간 적응의 예다.
관련 문서
PromptIR / PIP 이미지 복원 / ProRes 이미지 복원 / InstructRestore / DIIP / Perceive-IR