문장만으로 정하기 어려운 위치
문장에 대상을 적어도 원하는 위치와 크기로 나타나지 않을 수 있다. BoxDiff는 가장 단순한 사용자 공간 조건을 생성에 반영하는 문제를 다룬다. 대량의 배치 이미지 쌍과 추가 미세 조정을 요구하는 접근의 부담을 줄이려는 방향이다.
세 종류의 공간 제약
상자 내부와 외부, 모서리에 해당하는 세 제약을 설계해 확산 모형의 잡음 제거 단계에 통합한다. 어떤 대상을 어디에 나타낼지 제어하면서 기존 확산 모형의 생성 능력을 이용한다. 공간 조건은 모양을 픽셀 단위로 완전히 지정하는 정보와는 다르다.
추가 학습 없는 사용
대규모 배치 주석 자료나 추가 학습을 요구하지 않는 방식이다. 조건을 따라 추론하는 계산은 여전히 필요하다. 제약을 준다는 사실만으로 모든 복잡한 장면과 관계가 정확히 충족된다고 볼 수는 없다.
상자와 물체의 독립 예
설명용으로 가로 100인 화면에서 물체를 왼쪽 절반 상자에 두도록 지정하면 위치 범위를 줄일 수 있다. 같은 상자 안에서도 물체의 자세와 윤곽은 여럿일 수 있다. 실제 제약식이나 모델 설정이 아닌 공간 정보의 범위를 설명하는 예다.
관련 문서
FreeControl / Attend-and-Excite / 구조화 확산 안내 / GenEval / TIFA / T2I-CompBench 플러스플러스