이미지와 영상을 함께 평가하기
텍스트로 만든 시각 콘텐츠의 평가는 자연스러운 품질과 요청 문장과의 정렬을 함께 다룬다. Q-Eval-100K는 이미지 및 영상 생성 결과에 대한 사람의 평균 의견 점수를 수집한다. 서로 다른 매체와 평가 축을 구분해 읽어야 한다.
표본과 주석의 규모
전체 십만 개 중 이미지는 육만 개, 영상은 사만 개이며 두 관점의 주석은 총 구십육만 개다. 표본 수와 주석 수는 다른 수치다. 많은 주석이 있다는 사실만으로 모든 표본의 의견 일치나 실제 세계 대표성이 보장되는 것은 아니다.
통합 평가와 긴 문장
문맥 프롬프트와 자료를 활용해 시각 품질과 정렬을 함께 평가하는 Q-Eval-Score를 제안한다. 긴 텍스트 프롬프트의 정렬 처리도 개선 대상으로 삼는다. 긴 문장의 일부 조건을 잘 반영하는 것과 전체 조건을 빠짐없이 평가하는 것은 구분해야 한다.
복합 요청의 독립 예
설명용으로 배경과 물체 종류는 맞지만 영상 마지막에 등장해야 할 대상이 빠질 수 있다. 한 장면의 외관만으로 요청 전체의 정렬을 판단하기 어렵다. 실제 데이터셋 영상을 옮기지 않은 평가 범위의 예다.
관련 문서
AGIQA-3K / AIGCIQA2023 / AGIQA-1K / T2IScoreScore / Q-Insight / M3-AGIQA