어느 속성이 어느 물체인가
여러 물체와 속성을 한 문장에 넣으면 생성 모형이 속성을 잘못 연결할 수 있다. 구조화 확산 안내는 언어 구조를 이용해 이런 구성 의미를 보존하려 한다. 문장에 단어들이 모두 포함됐다는 사실만으로 연결 관계가 명확하게 반영되는 것은 아니다.
교차 주의의 조정
교차 주의 층을 조절할 수 있다는 특성을 이용해 확산 안내 과정에 언어 구조를 통합한다. 연구는 키와 값이 배치 및 내용과 관련된 의미를 갖는 성질을 분석한다. 단어 순서와 구문 관계를 무시한 단순 전체 요약만으로 처리하지 않는 방향이다.
추가 표본 없는 안내
기존 Stable Diffusion 위에 구조화 교차 주의를 설계하며 추가 학습 표본을 요구하지 않는다. 학습 없이 사용할 수 있다는 조건은 추론 비용이 전혀 없다는 뜻은 아니다. 사용한 기반 모형과 생성 설정을 맞춰 결과를 비교해야 한다.
구조 차이의 독립 예
설명용으로 작은 탁자 위의 큰 상자와 큰 탁자 위의 작은 상자는 비슷한 단어를 쓰지만 크기의 연결이 다르다. 단어의 존재보다 무엇을 수식하는지가 중요하다. 이는 실제 실험 문장이나 생성 결과를 재현하지 않은 언어 구조의 예다.
관련 문서
Attend-and-Excite / GenEval / TIFA / ConceptMix / DSG 생성 평가 / T2I-CompBench 플러스플러스