여러 대상을 함께 생성하기
주체 중심 생성에서는 어떤 대상인지를 유지하면서 문장에 맞는 장면을 만들어야 한다. 여러 주체가 함께 있으면 일부가 빠지거나 속성이 뒤섞일 수 있다. 전체 이미지의 자연스러움만으로 주체 보존을 판단하기는 어렵다.
주의 지도의 보강
별도 학습 없는 안내로 추론 중 생성 과정에 개입한다. 각 주체의 속성을 연결하고 특징을 주입하도록 주의 지도를 강화하는 방향이다. 어떤 대상을 나타내는 특징인지와 그 특징이 어디에 전달되는지를 함께 다룬다.
주체 정렬의 평가
주체 정렬을 평가하기 위해 GroundingScore를 제안한다. 하나의 종합 점수뿐 아니라 개별 대상의 존재와 속성 연결도 확인해야 한다. 지표가 제안되었다는 사실만으로 모든 생성 오류를 완전히 측정한다고 볼 수는 없다.
대상별 특징의 독립 예
설명용으로 점무늬 찻잔과 격자무늬 접시를 같은 장면에 놓는 요청을 생각할 수 있다. 두 대상이 모두 있어도 무늬가 바뀌어 붙으면 주체별 특성이 보존되지 않은 것이다. 실제 논문 결과를 옮기지 않은 대상 존재와 속성 정렬의 차이에 대한 예다.
관련 문서
Attend-and-Excite / 확산 주의 조절 / BoxNet 주의 마스크 제어 / IP-Adapter / PAIR-Diffusion / T2IScoreScore