속성이 엉뚱한 대상으로 옮겨갈 때
여러 물체가 등장하는 요청에서는 특정 물체의 색이나 형태가 다른 물체에 붙을 수 있다. 물체가 빠지거나 대상 간 구분이 흐려지는 문제도 있다. 이 방법은 각 텍스트 토큰이 영향을 주는 이미지 영역을 제한하는 방향으로 접근한다.
물체별 상자를 예측하기
먼저 BoxNet을 학습해 문장에 지정된 속성을 가진 물체마다 상자를 예측한다. 이 상자는 이후 주의 제어의 공간 기준이 된다. 따라서 전체 접근을 추가 학습이 전혀 없는 방식으로 소개해서는 안 된다.
두 종류의 주의에 마스크 적용
예측한 상자에 따라 교차 주의와 자기 주의 지도에 마스크 제어를 적용한다. 텍스트와 이미지의 연결 영역을 제한해 의미에 맞는 합성을 유도한다. 상자의 정확성과 실제 생성 결과의 정확성은 각각 확인해야 한다.
속성 연결의 독립 예
설명용으로 줄무늬 우산과 단색 장화를 요청했는데 장화에도 줄무늬가 생길 수 있다. 두 물체가 모두 등장하는 것만으로 조건을 만족했다고 볼 수 없다. 실제 연구 결과를 인용하지 않은 물체 존재와 속성 연결의 차이에 대한 예다.
관련 문서
BoxDiff / GLIGEN / Attend-and-Excite / 구조화 확산 안내 / RPG 이미지 생성 / T2I-CompBench 플러스플러스