이미지만 보는 평가의 한계
생성 이미지의 주관 품질 점수에는 문장과의 대응이 섞여 있을 수 있다. 이미지만 보는 모형은 요청을 알 수 없어 이 관계를 구분하기 어렵다. IP-IQA는 이미지와 해당 문장을 함께 평가 입력으로 사용한다.
추가 사전 학습
Image2Prompt라는 추가 사전 학습 과제로 생성 이미지와 대응 텍스트의 이해를 보강한다. 평가 대상 이미지가 무엇을 의도한 결과인지 표현에 반영하려는 방향이다. 학습 과제의 이름을 실제 이미지에서 원래 문장을 유일하게 복원한다는 보장으로 해석해서는 안 된다.
입력 융합과 토큰
이미지 프롬프트 융합 모듈과 특별한 QA 토큰을 적용해 두 입력의 협력을 돕는다. 생성 과정에 프롬프트를 넣는 것과 완성된 이미지의 평가에 문장을 사용하는 것은 다른 단계다. 평가망의 입력 조건을 구분해야 한다.
같은 이미지 다른 요청의 독립 예
설명용으로 빈 탁자 이미지는 빈 탁자라는 요청에는 맞지만 접시가 놓인 탁자라는 요청에는 맞지 않는다. 이미지가 같아도 정렬 판단은 달라질 수 있다. 실제 연구 사례를 옮기지 않은 평가 문맥의 예다.
관련 문서
AGIQA-3K / CLIP-AGIQA / TIFA / DSG 생성 평가 / ImageReward / T2IScoreScore