통합망의 제어 문제
여러 복원 과제를 같은 구조로 묶어도 원하지 않는 처리나 제어하기 어려운 결과가 나올 수 있다. ProRes는 열화 정보를 시각 프롬프트에 담아 복원 처리를 제어하는 접근이다. 같은 이름의 영상 코덱과는 다른 연구다.
손상 지식의 가중 조합
잡음과 흐림 등 여러 열화 유형을 통합 시각 프롬프트로 부호화한다. 프롬프트를 가중 조합해 맞춤 복원에 이용한다. 두 처리를 섞는 계수가 실제 손상 강도를 그대로 측정하는 값이라고 가정해서는 안 된다.
기반 구조와 새 과제
과제 특화 설계 없이 일반적인 비전 트랜스포머를 활용한다. 사전 학습 모형을 적은 이미지로 프롬프트 조정해 새 과제에 적응하는 방향이다. 적응 자료가 적다는 조건과 추가 학습이 전혀 없다는 말은 다르다.
조합 결과의 독립 예
설명용으로 잡음 제거와 선명화의 비중을 바꾸면 세부와 잔여 잡음의 균형도 달라질 수 있다. 두 결과의 품질이 가중치에 정확히 비례한다고 볼 수는 없다. 실제 모형의 실험값을 옮기지 않은 제어 해석의 예다.
관련 문서
PromptIR / PromptCIR / PIP 이미지 복원 / InstructIR / TextPromptIR / 비전 트랜스포머