생성 기반이 달라질 때
확산 모형용으로 학습한 제어망을 다른 생성 기반에 옮길 때 같은 기능이 그대로 유지되는지는 확인이 필요하다. CCM은 빠른 시각 콘텐츠 생성에 이용되는 일관성 모형에 조건 제어를 추가하는 문제를 다룬다.
직접 적용과 새 제어망 학습
확산용 ControlNet을 바로 적용하면 높은 수준의 의미 제어와 낮은 수준의 세부 및 사실성 제어에서 차이가 날 수 있다. 별도로 일관성 학습을 이용해 ControlNet을 처음부터 학습하는 방향도 비교한다. 두 방식의 학습 조건은 같지 않다.
경량 어댑터를 통한 전이
여러 조건 아래에서 경량 어댑터를 일관성 학습으로 공동 최적화하는 접근도 제안한다. 기존 확산용 제어망을 일관성 모형으로 전이하는 역할이다. 어댑터가 가볍다는 사실만으로 모든 조건의 제어 정확도가 같아지는 것은 아니다.
의미와 세부의 독립 예
설명용으로 사람 자세의 큰 윤곽은 맞는데 손가락이나 옷 주름이 어색할 수 있다. 자세 제어가 어느 정도 작동하는 것과 낮은 수준의 묘사가 자연스러운 것은 다른 항목이다. 실제 평가 이미지를 옮기지 않은 제어 성능 해석의 예다.
관련 문서
ControlNet / ControlNet 플러스플러스 / CtrLoRA / Uni-ControlNet / T2I-Adapter / 확산 모형