내용과 위치를 연결하기
텍스트만으로는 물체를 어느 위치에 둘지 세밀하게 제어하기 어려울 수 있다. GLIGEN은 기존 텍스트 이미지 확산 모형에 그라운딩 입력을 더한다. 대상의 언어 설명과 공간 조건을 연결해 생성하는 방향이다.
기존 지식의 보존
사전 학습 모형의 가중치를 모두 고정하고 새 학습 층에 그라운딩 정보를 주입한다. 게이트 기구로 연결해 기존 모형의 폭넓은 개념 지식을 활용하려 한다. 전체 모형을 처음부터 새로 학습하는 방식과는 다르다.
새 개념과 새 배치
문장과 바운딩 상자 조건으로 열린 세계의 그라운딩 생성을 다룬다. 새로운 공간 구성과 개념에 대한 일반화가 주요 관심사다. 학습에서 보지 못한 배치를 다룰 수 있다는 결과가 모든 종류의 상식과 관계를 완벽히 만족한다는 뜻은 아니다.
위치와 종류의 독립 예
설명용으로 화면 오른쪽 상자에 화분을 지정했다면 화분이 있는지와 오른쪽에 놓였는지는 각각 확인해야 한다. 상자가 맞아도 물체 종류가 틀릴 수 있다. 실제 논문 입력이나 생성 결과를 재현하지 않은 그라운딩 조건의 예다.
관련 문서
ControlNet / BoxDiff / FreeControl / 구조화 확산 안내 / GenEval / T2I-CompBench 플러스플러스