생성에서 빠지는 대상
여러 대상을 요청해도 일부가 이미지에 나타나지 않거나 색 같은 속성이 엉뚱한 대상에 붙을 수 있다. 이 연구는 Stable Diffusion에서 이런 현상을 분석한다. 자연스럽게 보이는 이미지와 요청의 모든 요소가 반영된 이미지는 다를 수 있다.
추론 중 의미 안내
Generative Semantic Nursing은 생성 도중에 개입해 요청 충실도를 높이는 개념이다. Attend-and-Excite는 이를 주의 기반으로 구체화한다. 미리 만들어진 결과를 사후에 채점하는 평가 모형과 달리 생성 과정 자체를 안내한다.
대상 토큰의 활성화
교차 주의가 텍스트의 모든 대상 토큰에 주목하도록 안내하고 활성화를 강화한다. 요청한 대상들이 생성되도록 유도하는 방향이다. 주의 값을 높이는 일만으로 모든 개수나 관계 조건이 항상 맞는다는 보장은 아니다.
등장과 관계의 독립 예
설명용 요청이 배 옆의 등대라면 두 대상이 등장하는지와 서로 옆에 놓였는지는 다른 검사다. 누락을 줄여도 관계 오류는 남을 수 있다. 실제 논문의 생성 예제나 특정 모형 결과를 옮기지 않은 조건 구분이다.
관련 문서
구조화 확산 안내 / GenEval / TIFA / ConceptMix / T2I-CompBench 플러스플러스 / DSG 생성 평가