범주보다 세밀한 속성 제어
문장으로 대상의 종류를 지정하는 것과 수치적인 속성을 정밀하게 바꾸는 것은 다르다. 여러 연속 속성을 동시에 제어하면 속성끼리 간섭할 수도 있다. Att-Adapter는 새 영역의 이런 제어를 사전 학습 모형에 추가하는 문제를 다룬다.
하나의 어댑터에 여러 속성
여러 시각 속성을 포함한 표본 이미지 집합에서 하나의 제어 어댑터를 학습한다. 표본은 서로 짝지어진 자료가 아니어도 된다. 분리된 교차 주의 모듈을 통해 영역 속성과 텍스트 조건을 함께 사용한다.
다양성을 다루는 학습
조건부 변분 오토인코더를 도입해 과적합을 완화하고 시각 세계의 다양한 결과를 반영하는 방향이다. 쌍으로 만든 합성 자료가 필요 없다는 조건은 학습 데이터가 전혀 필요 없다는 뜻이 아니다. 속성 제어 범위와 속성 간 분리 정도도 확인해야 한다.
간섭 확인의 독립 예
설명용으로 가구 다리의 길이와 좌판 너비를 따로 지정하려는 경우를 생각할 수 있다. 길이만 바꾸었는데 너비도 달라진다면 두 제어가 독립적이지 않다. 실제 평가 결과를 옮기지 않은 복수 연속 속성 제어의 예다.
관련 문서
IP-Adapter / CtrLoRA / LoRA / ControlNet / T2I-Adapter / DynamicControl