사용자가 원하는 복원 지정하기
입력에서 열화 표현을 자동으로 찾는 것과 사용자가 문장으로 원하는 처리를 지정하는 것은 다르다. TextPromptIR은 복원 과정에 사람의 언어 지시를 연결하는 상호작용을 중시한다.
언어 지시의 부호화
과제에 특화해 미세 조정한 BERT가 사용자 지시를 이해하고 텍스트 프롬프트 안내를 만든다. 학습 프롬프트라는 이름만 공유하더라도 모든 방식이 같은 입력을 요구하는 것은 아니다. 이 방법에서는 문장 의미의 처리가 중요한 구성이다.
시각 특징과의 연결
깊이별 다중 헤드 전치 주의와 게이트 합성곱 모듈로 텍스트 안내와 영상 특징 사이의 간극을 연결한다. 잡음 제거와 안개 제거, 비 제거 등에서 평가한다. 자연어 입력을 사용한다고 모든 자유로운 지시를 동일하게 수행한다는 보장은 아니다.
지시 범위의 독립 예
설명용으로 잡음만 줄이라는 요청과 안개도 함께 줄이라는 요청은 원하는 변화의 범위가 다르다. 한쪽 처리가 좋아도 다른 목표를 임의로 더했다면 지시 준수는 별도 검토가 필요하다. 실제 실험 문장을 옮기지 않은 사용자 제어의 예다.
관련 문서
BERT / PromptIR / PromptCIR / PIP 이미지 복원 / InstructPix2Pix / DIIP