조건마다 별도 모형을 만들 때
윤곽이나 깊이처럼 제어 조건의 종류가 달라지면 각 조건에 맞는 학습이 필요하다. 조건마다 큰 모형을 따로 학습하고 배포하는 부담이 확장의 장애가 될 수 있다. CtrLoRA는 공통 부분을 재사용하는 구성을 제안한다.
공통 지식과 조건 특성
기본 ControlNet은 여러 기본 조건에서 이미지 변환에 공통적인 지식을 배운다. 조건별 LoRA는 각 조건의 고유한 특성을 맡는다. 공유할 표현과 새 조건에 맞게 바꿀 표현을 나누는 것이 핵심이다.
새 조건으로의 적응
사전 학습된 기본 ControlNet을 활용해 새 조건에 적응한다. 필요한 데이터와 학습량을 줄이는 방향이지만 모든 새 조건에서 동일한 데이터 수나 학습 시간이 보장되는 것은 아니다. 조건의 복잡성, 데이터 품질, 장치 환경을 함께 고려해야 한다.
저장량의 독립 계산
설명용으로 공유 부분이 80단위, 조건별 부분이 4단위라면 세 조건의 합계는 92단위다. 공유 없이 각 조건을 84단위씩 보관하면 252단위가 된다. 실제 모형 크기를 사용하지 않은 예이며 실행 중 메모리 절감률을 뜻하지도 않는다.
관련 문서
ControlNet / ControlNet 플러스플러스 / LoRA / UniControl / Uni-ControlNet / T2I-Adapter