전체에 같은 처리를 하지 않기
이미지 전체의 세부를 똑같이 강화하면 사용자가 원한 국소 보완과 다를 수 있다. InstructRestore는 문장으로 지정한 영역에 따라 복원을 조정한다. 어디를 바꿀지와 어느 정도의 세부를 남길지를 함께 다룬다.
영역 설명과 마스크 자료
고품질 이미지, 대상 영역 설명, 대응 마스크로 이루어진 학습 묶음을 생성하고 선별한다. 총 536,945개 묶음을 학습과 평가에 활용하도록 구성한다. 묶음 수와 독립적인 원본 이미지 수는 같은 수치가 아니다.
영역별 특징 통합
ControlNet 구조에서 저품질 이미지 특징을 어떻게 통합할지 살핀다. 대상 영역을 찾고 주변과 다른 통합 강도를 배분해 세부 강화의 정도를 조절한다. 지역 처리가 있다는 사실만으로 경계가 항상 자연스럽게 연결된다는 보장은 없다.
선택적 보완의 독립 예
설명용으로 앞쪽 간판 글자만 선명하게 하면서 뒤쪽 불빛의 흐림은 남기고 싶을 수 있다. 전체를 강하게 복원하면 의도한 배경 효과가 사라질 수 있다. 실제 연구의 이미지나 지시문을 옮기지 않은 지역 제어의 예다.
관련 문서
InstructIR / TextPromptIR / ControlNet / DiffEdit / InstDiffEdit / PromptIR