구성 요소별 표현
복잡한 요청을 한 덩어리로 처리할 때 물체 속성이나 관계를 혼동할 수 있다. 이 접근은 각 구성 요소를 나타내는 확산 모형 집합을 조합해 이미지를 생성한다. 하나의 전역 문장 표현만 사용하는 것과 다른 구조적 접근이다.
에너지 기반 해석
확산 모형을 에너지 기반 모형으로 해석하고 에너지 함수가 정의하는 데이터 분포를 명시적으로 조합한다. 원하는 구성 요소들의 조건을 함께 만족하는 생성 방향을 다루는 틀이다. 분포를 결합하는 일과 최종 이미지 픽셀을 단순히 더하는 일은 다르다.
학습에 없던 결합
문장 설명과 물체 관계, 얼굴 속성 등을 조합하고 학습보다 복잡하거나 드문 결합으로의 일반화를 살핀다. 사전 학습 텍스트 안내 확산 모형의 조합도 다룬다. 새 결합을 처리할 수 있다는 결과가 모든 논리 조건의 만족을 보장하지는 않는다.
조건 충돌의 독립 예
설명용으로 같은 표면이 완전히 빨강이면서 동시에 완전히 파랑이어야 한다면 조건끼리 충돌한다. 각각 가능한 조건이라도 함께는 만족하기 어려울 수 있다. 실제 실험 요청이나 모형 결과가 아닌 조합 제약을 이해하기 위한 예다.
관련 문서
MultiDiffusion / 구조화 확산 안내 / Attend-and-Excite / GenEval / TIFA / ConceptMix