문장 속 공간 관계를 지키기
생성 이미지의 화질이 좋아도 문장에 지정한 물체 위치가 틀릴 수 있다. 배치 안내는 장면 안에서 무엇이 어디에 있어야 하는지를 다룬다. 시각적 자연스러움과 공간 지시 준수는 별개의 평가 항목이다.
교차 주의의 조작
텍스트와 시각 정보를 연결하는 교차 주의 층을 조작해 생성 방향을 유도한다. 사용자 지정 배치 등을 조건으로 사용할 수 있다. 이미지 생성기 자체의 추가 학습이나 미세 조정을 요구하지 않는 방향이다.
두 안내 전략의 비교
주의 지도 역할을 살피며 순방향 안내와 역방향 안내를 비교한다. 여러 벤치마크와 실제 이미지의 배치 및 문맥 편집으로 적용 범위를 평가한다. 특정 평가에서의 상대적 결과를 모든 장면의 절대적인 성공 보장으로 해석하지는 않아야 한다.
좌우 관계의 독립 예
설명용으로 오른쪽의 시계와 왼쪽의 선반을 요구했는데 둘이 같은 위치에 겹쳐 생성될 수 있다. 두 물체가 선명하게 보이는 것과 지정한 공간 구성이 구현되는 것은 다르다. 실제 논문 이미지나 수치를 사용하지 않은 평가 관점의 예다.
관련 문서
BoxNet 주의 마스크 제어 / BoxDiff / GLIGEN / ControlNet / 단일 이미지 연속 배치 편집 / RPG 이미지 생성