두 단계의 역할
먼저 복원 모듈이 열화를 줄여 입력 내용에 충실한 결과를 만든다. 다음 단계는 손실된 내용을 생성 사전 정보로 보완한다. 열화를 제거하는 일과 관측에 없는 세부를 생성하는 일을 구분해 설계한다.
조건 영상과 생성
IRControlNet은 잠재 확산 모델의 생성 능력을 활용한다. 방해되는 잡음이 적은 조건 영상을 만들어 학습해 안정적인 생성을 목표로 한다. 조건에 맞는 결과와 원래 촬영된 세부의 일치는 별도로 평가할 문제다.
조절의 간단한 예
설명용으로 두 후보의 관측 오차와 자연스러움 점수가 서로 다르면 한 가중치를 바꾸는 것만으로 선호 후보가 달라질 수 있다. 예를 들어 합성 점수 2+λ×8과 5+λ×2는 λ=0에서 첫 후보가, λ=1에서 두 번째 후보가 작다. 이는 절충의 예이며 실제 가이던스 목적식은 아니다.
추론 중의 절충
영역 적응 복원 가이던스로 모델 재학습 없이 자연스러움과 충실도 사이의 균형을 조절한다. 블라인드 초해상도와 얼굴 복원 및 잡음 제거에서 조건을 나누어 평가한다. 색 변화, 작은 구조 및 생성된 질감의 일관성과 전체 처리 비용을 함께 확인한다.