텍스트에 공간 조건 더하기
문장은 장면 내용을 설명하지만 정확한 자세나 구조를 지정하기에는 부족할 수 있다. ControlNet은 기존 확산 모형에 공간 조건을 추가한다. 사전 학습에서 얻은 강한 표현을 이용하면서 새로운 제어 경로를 학습하는 접근이다.
기존 모형과 새 경로
기존 큰 확산 모형을 고정하고 사전 학습한 부호화 층을 활용한다. 연결에는 0으로 초기화한 합성곱을 사용해 학습 과정에서 매개변수가 점차 자라도록 한다. 처음부터 큰 임의 교란을 더하는 방식과 다른 초기화 전략이다.
다양한 입력 조건
윤곽과 깊이, 분할 지도, 사람 자세 등으로 제어하며 단일 또는 여러 조건, 텍스트 사용 여부에 따른 실험을 다룬다. 조건마다 지정하는 정보의 종류는 다르다. 자세 뼈대만으로 피부색이나 의상의 세부가 결정되는 것은 아니다.
초기 연결의 독립 예
설명용 연결 출력이 y=Wx+b이고 W와 b가 모두 0이면 임의 입력 x에서도 초기 출력은 0이다. 이후 학습으로 연결의 영향이 달라질 수 있다. 실제 ControlNet 전체 구조나 학습 궤적을 재현한 것이 아닌 초기화의 단순 예다.
관련 문서
GLIGEN / FreeControl / BoxDiff / Attend-and-Excite / 구조화 확산 안내 / GenEval