지역과 전역의 조건
윤곽이나 깊이 지도는 위치별 구조를 지정할 수 있고 이미지 임베딩은 전역적인 정보를 제공할 수 있다. Uni-ControlNet은 이런 서로 다른 조건을 유연하게 조합하는 틀이다. 한 종류의 공간 조건만 다루는 문제보다 입력의 성격을 넓게 본다.
고정 모형과 두 어댑터
기존 사전 학습 텍스트 이미지 확산 모형은 고정하고 두 추가 어댑터를 미세 조정한다. 처음부터 전체 모형을 학습하는 부담을 줄이는 방향이다. 지역 및 전역 조건의 수와 무관하게 어댑터 수를 두 개로 유지하도록 설계한다.
조합 가능성의 해석
서로 다른 조건을 함께 이용해 제어 가능성과 합성 품질을 다룬다. 같은 틀에 입력할 수 있다는 사실만으로 서로 모순되는 조건까지 모두 만족하는 것은 아니다. 각각의 단독 제어와 결합 제어를 나누어 확인해야 한다.
조건 수와 크기의 구분
설명용으로 구조 입력 세 종류를 받는다고 반드시 어댑터가 세 개여야 하는 것은 아니다. 공통 경로가 여러 조건을 처리하도록 설계할 수 있다. 이는 구조 설계의 예이며 실제 층 구성이나 조건 수에 따른 메모리 사용량이 일정하다는 주장은 아니다.
관련 문서
UniControl / ControlNet / T2I-Adapter / IP-Adapter / GLIGEN / FreeControl