손상된 입력에서 표현 얻기
일반적인 시각 언어 표현이 이미지 손상에 그대로 강건한 것은 아니다. DA-CLIP은 사전 학습된 표현을 저수준 복원에 옮기기 위해 고정 인코더에 추가 제어기를 학습한다. 언어로 장면을 인식하는 능력과 관측 손상을 견디는 능력을 구분한다.
복원망을 안내하는 특징
제어기는 고품질 특징 임베딩을 예측하도록 인코더를 적응시킨다. 이 임베딩을 교차 주의로 이미지 복원망에 통합해 재구성을 안내한다. 특징이 고품질이라는 표현은 손실된 원본 픽셀을 직접 확인했다는 뜻은 아니다.
열화 특징과 학습 데이터
제어기는 입력의 실제 손상에 대응하는 열화 특징도 출력한다. 이 특징은 서로 다른 손상을 분류하는 단서가 된다. 학습에는 합성 캡션이 있는 혼합 열화 데이터셋을 구성한다.
내용과 손상의 독립 예
설명용으로 같은 자전거 사진에 잡음 또는 흐림이 추가돼도 피사체는 같다. 내용 표현은 자전거를 유지하되 손상 표현은 두 상태를 구별해야 한다. 실제 연구의 이미지를 옮기지 않은 내용과 열화 정보의 역할 차이다.
관련 문서
CLIP / MPerceiver / LoRA-IR / TextPromptIR / UniProcessor / PromptIR