자연 사진과 생성 이미지의 차이
자연 이미지 평가에 맞춘 모형이 생성 이미지의 시각적 특성을 충분히 다루지 못할 수 있다. 언어 쪽 프롬프트만 조정하는 것으로 충분한지도 검토해야 한다. CLIP-AGIQA는 두 모달리티의 적응을 함께 다룬다.
시각과 언어 양쪽의 프롬프트
CLIP의 언어 및 시각 가지에 학습 가능한 프롬프트를 각각 도입한다. 생성 이미지가 자연 영상과 시각적으로 다르다는 조건을 고려한다. 이 프롬프트는 평가망을 적응시키는 학습 표현이며 사용자가 입력하는 문장과 역할을 구분해야 한다.
일관성 지식의 활용
텍스트 이미지 정렬 품질을 예측하는 과제를 만들고 여기서 배운 지식으로 다중 모달 프롬프트의 최적화를 안내한다. 문장과의 일치성이 품질에 관련된다는 점을 활용한다. 다만 정렬과 시각적 자연스러움이 완전히 같은 평가 항목은 아니다.
두 평가 축의 독립 예
설명용으로 파란 의자를 요청했는데 자연스러운 빨간 의자가 생성될 수 있다. 사진 같은 외관과 지시 색의 준수는 다르게 판단해야 한다. 실제 데이터셋 이미지를 옮기지 않은 정렬 정보와 지각 품질의 관계에 대한 예다.
관련 문서
CLIP / CLIP-IQA / LIQE / Q-Align / ImageReward / T2IScoreScore