무엇이 문제인지와 무엇을 할지
주제 프롬프트는 열화에 특화된 정보를 인코딩하고 조작 프롬프트는 처리 방향을 지정한다. 손상 상태의 설명과 원하는 조작을 나누어 같은 이미지에서도 다른 처리를 요청할 수 있도록 한다.
문맥을 처리 과정에 연결하기
문맥 제어 특징은 교차 주의를 통해 처리기의 백본에 들어간다. 언어 설명을 결과 이미지에 단순히 덧붙이는 것이 아니라 이미지 처리 과정의 제어에 사용하는 구성이다.
설명의 자동 생성
범용적인 저수준 열화 인식을 위해 지시 조정한 시각 언어 모형으로 주제 프롬프트를 자동 생성한다. 자동 설명이 입력을 잘못 해석하면 처리 방향에도 영향을 줄 수 있다. 설명의 정확도와 결과의 품질을 함께 확인해야 한다.
선택적 처리의 독립 예
설명용으로 빗줄기와 의도적인 배경 흐림이 함께 있는 사진에서 빗줄기만 제거하도록 요청할 수 있다. 모든 흐림을 없애는 요청과는 목표가 다르다. 실제 연구 이미지를 옮기지 않은 손상 선택과 시각적 의도의 구분이다.
관련 문서
InstructIR / InstructRestore / TextPromptIR / LoRA-IR / ABAIR / PromptIR