눈에 잘 띄는 개념만 남을 때
생성 이미지가 자연스러워도 문장 속 일부 개념이 충분히 반영되지 않을 수 있다. 이 연구는 교차 주의가 특정 토큰에 치우치는 현상을 살핀다. 화질의 개선과 문장 의미의 충실도 개선을 같은 것으로 취급하지 않는다.
주의 지도를 문장에 맞추기
추론 중 주의 지도를 입력 텍스트와 정렬하도록 최적화하는 접근이다. 기존 모형에 붙이는 모듈로 적용하며 추가 학습이나 미세 조정을 요구하지 않는다. 모형 가중치를 새로 학습하지 않는다는 점과 추론 중 최적화가 있다는 점은 함께 이해해야 한다.
계산 비용과 의미 평가
추가 처리가 계산 효율을 고려해 설계되었더라도 전체 지연은 사용 환경과 설정에 따라 달라진다. 최적화 전후에 물체 존재, 속성 연결, 관계 표현을 확인해야 한다. 주의 지도가 바뀌었다는 사실만으로 생성 결과의 모든 의미가 정확하다고 볼 수는 없다.
누락의 독립 예
설명용으로 큰 풍차와 작은 표지판을 함께 요청했는데 풍차만 선명하게 생성될 수 있다. 풍차의 세부가 좋아져도 표지판이 빠졌다면 요청 전체를 충족하지 못한다. 실제 연구의 결과를 옮기지 않은 시각 품질과 개념 반영의 차이에 대한 예다.
관련 문서
Attend-and-Excite / 구조화 확산 안내 / BoxNet 주의 마스크 제어 / 교차 주의 배치 안내 / GenEval / T2IScoreScore