복잡한 요청을 나누기
여러 물체와 각각의 속성, 물체 사이 관계가 한 문장에 들어 있으면 생성 모형이 일부 조건을 놓칠 수 있다. RPG는 전체 요청을 곧바로 한 번에 처리하는 대신 하위 영역의 더 간단한 생성 과제로 분해한다.
전역 계획과 지역 생성
다중 모달 언어 모형이 전체 계획을 맡고 지역별 구성에 필요한 과제를 정한다. 상호 보완적인 지역 확산을 이용해 영역 단위의 조합 생성을 수행한다. 영역별 결과뿐 아니라 경계와 전체 관계가 일치하는지도 확인할 필요가 있다.
생성과 편집의 연결
텍스트 기반 생성과 편집을 닫힌 고리 방식으로 통합한다. 다양한 다중 모달 언어 모형과 확산 기반 모형에 연결할 수 있는 프레임워크를 지향한다. 추가 학습이 없다는 조건은 계획과 생성에 별도 추론 비용이 들지 않는다는 뜻은 아니다.
영역과 관계의 독립 예
설명용으로 왼쪽의 책상과 오른쪽의 스탠드를 각각 생성해도 스탠드가 책상을 비춘다는 관계까지 자동으로 맞지는 않는다. 배치 계획은 물체 목록뿐 아니라 빛의 방향 같은 연결도 검토해야 한다. 실제 연구 예시를 옮기지 않은 과제 분해의 설명이다.
관련 문서
ElasticDiffusion / MultiDiffusion / GLIGEN / T2I-CompBench 플러스플러스 / GenEval / ConceptMix