ControlNet 플러스플러스

조건을 넣는 것과 지키는 것

조건 이미지를 생성 모형에 제공해도 결과가 그 조건과 충분히 일치하지 않을 수 있다. 이 방법은 입력한 조건과 결과에서 읽어 낸 조건의 차이를 명시적으로 줄인다. 생성 이미지의 시각적 자연스러움과 제어 정확도는 별도로 확인할 문제다.

결과에서 조건을 다시 추출하기

사전 학습 판별 보상 모형으로 생성 이미지에 해당하는 조건을 추출한다. 이를 입력 조건과 비교한 일관성 손실로 최적화한다. 조건 추출기의 판단을 학습 신호로 사용하는 것이며 추출 결과가 항상 완전한 정답이라는 뜻은 아니다.

긴 경로 대신 한 단계 보상

잡음에서 전체 이미지를 생성한 뒤 손실을 계산하면 여러 샘플링 단계의 기울기를 저장해야 한다. 이를 줄이기 위해 입력 이미지에 잡음을 더하고 한 단계로 잡음을 제거한 결과를 보상 미세 조정에 이용한다. 이 설명은 학습 비용에 관한 것이며 모든 추론을 한 단계로 끝낸다는 주장은 아니다.

판별 오차의 독립 예

설명용으로 선 그림 조건에서 작은 손잡이를 요구했는데 조건 추출기가 이를 놓친다고 하자. 비교 손실이 작아도 손잡이가 정확히 구현되었다고 단정할 수 없다. 실제 실험 실패를 옮기지 않은 평가 신호의 한계에 대한 예다.