외부 신호와 내부 표현
큰 생성 모형에는 복잡한 구조와 의미에 대한 지식이 있지만 텍스트만으로 이를 세밀하게 활용하기 어려울 수 있다. T2I-Adapter는 외부 제어 신호와 내부 표현을 맞추는 작은 모듈을 학습한다. 기존의 큰 생성 모형은 고정한다.
조건별 어댑터
서로 다른 조건에 맞는 어댑터를 학습해 생성 결과의 색과 구조를 제어하거나 편집하는 효과를 얻는다. 어댑터가 가볍다는 사실과 추가 학습이 전혀 없다는 말은 다르다. 조건 정보를 표현하는 모듈의 학습이 필요한 접근이다.
조건을 조합하기
여러 어댑터의 조합 가능성과 일반화 능력을 다룬다. 색과 구조처럼 서로 다른 단서를 함께 반영할 수 있는 방향이다. 여러 조건이 충돌할 때도 모두 완벽히 만족한다는 뜻은 아니므로 조합별 결과를 확인해야 한다.
색과 윤곽의 독립 예
설명용으로 둥근 윤곽과 푸른색 분포를 각각 제공하면 모양과 색에 서로 다른 단서를 준다. 이 두 정보만으로 표면 재질이나 광원 위치까지 하나로 결정되지는 않는다. 실제 모델의 제어 입력이나 생성 사례를 옮기지 않은 조건 정보의 예다.
관련 문서
IP-Adapter / ControlNet / GLIGEN / FreeControl / BoxDiff / 구조화 확산 안내