여러 제어 과제의 통합
공간과 구조, 기하 조건을 각각 다른 모형으로 처리하면 관리와 활용이 복잡해질 수 있다. UniControl은 다양한 조건 이미지 생성 과제를 하나의 틀로 묶는다. 시각 조건을 사용하면서 자유로운 언어 요청도 함께 다룬다.
과제 인식 하이퍼네트워크
사전 학습 텍스트 이미지 확산 모형을 확장하고 과제를 인식하는 HyperNet으로 조절한다. 서로 다른 조건 생성 과제에 동시에 적응하도록 하는 구성이다. 같은 입력 형식을 기계적으로 공유하는 것과 과제의 차이를 반영하는 것은 다르다.
조건과 언어의 역할
시각 조건은 주로 생성 구조에 영향을 주고 언어는 스타일 및 문맥을 안내한다. 여러 과제에서 학습하고 보지 못한 시각 조건에 대한 제로샷 생성도 평가한다. 새로운 조건의 모든 조합을 학습 없이 정확히 처리한다는 보장으로 받아들여서는 안 된다.
두 요청의 공통 구조
설명용으로 같은 집 윤곽에 수채화와 연필화라는 다른 언어 요청을 줄 수 있다. 구조 단서는 같아도 외관 표현은 달라질 수 있다. 실제 논문 조건이나 생성 결과가 아닌 시각 정보와 언어 정보의 역할을 구분하는 예다.
관련 문서
Uni-ControlNet / ControlNet / T2I-Adapter / IP-Adapter / GLIGEN / FreeControl