조건이 많아질 때의 충돌
윤곽과 깊이, 다른 시각 조건을 함께 제공하면 서로 맞지 않는 정보가 들어올 수 있다. 조건 수를 고정하거나 모든 조건을 같은 방식으로 사용하는 것만으로 복잡한 조합을 다루기는 어렵다. 이 방법은 입력에 맞는 조건의 선택과 순서를 다룬다.
이중 순환 평가
사전 학습 조건 생성 모형과 판별 모형을 이용해 초기 순위를 만든다. 결과에서 추출한 조건과 입력 조건 사이의 유사성, 원본 이미지와의 픽셀 수준 유사성을 평가한다. 한 종류의 유사도만으로 조건의 유용성을 판단하지 않는 구성이다.
평가와 제어의 연결
다중 모달 언어 모형으로 조건 평가기를 구성하고 초기 순위에 맞추어 순서를 최적화한다. 최종 조건은 병렬 다중 제어 어댑터로 전달된다. 이 어댑터는 동적인 시각 조건의 특징을 배우고 통합해 ControlNet을 조절한다.
상충 조건의 독립 예
설명용으로 윤곽에는 문이 열려 있지만 깊이 조건은 닫힌 평면을 나타낼 수 있다. 두 입력을 모두 강하게 반영한다고 일관된 장면이 보장되지는 않는다. 실제 실험 사례를 옮기지 않은 조건 선택과 조합의 필요성에 대한 예다.
관련 문서
ControlNet / ControlNet 플러스플러스 / UniControl / Uni-ControlNet / CtrLoRA / CCM 조건 제어