조건마다 학습하는 부담
공간 조건의 종류와 기반 모형 구조, 체크포인트가 달라질 때마다 보조 모듈을 따로 학습하면 활용 범위가 제한될 수 있다. FreeControl은 여러 조건과 모형을 추가 학습 없이 제어하려는 접근이다. 같은 이름의 다른 연구와는 구분해야 한다.
구조 안내
안내 이미지와 생성 결과의 구조가 정렬되도록 구조 안내를 설계한다. 텍스트가 정하는 내용과 이미지가 제공하는 공간 조건을 함께 활용한다. 구조를 따르는 것과 안내 이미지의 모든 색 및 세부를 복사하는 것은 다르다.
외관 안내
같은 시드에서 생성하는 이미지 사이에 외관을 공유하도록 외관 안내를 사용한다. 구조 제어로 모양을 바꾸면서 외관의 관계도 고려하는 방향이다. 다양한 사전 학습 모형에서의 제어와 합성 품질을 평가한다.
구조와 색의 독립 예
설명용으로 같은 사람 자세의 윤곽을 따르면서 옷은 파랑 또는 노랑으로 만들 수 있다. 자세 조건만으로 색이 하나로 결정되지는 않는다. 실제 논문의 안내 입력이나 생성 결과를 재현하지 않는 구조와 외관 구분의 예다.
관련 문서
BoxDiff / Attend-and-Excite / 구조화 확산 안내 / GenEval / ConceptMix / TIFA