생성 결과의 품질 차이
같은 생성 과제에서도 결과의 품질은 크게 달라질 수 있다. AGIQA-3K는 사람의 주관 평가에 맞는 자동 품질 모형을 연구하기 위한 자료다. 이미지가 자연스러운지와 요청 문장을 잘 따르는지를 함께 살핀다.
두 축의 주관 점수
여러 생성 모형, 서로 다른 문장과 매개변수 조건에서 결과를 만들고 지각 품질 및 텍스트 이미지 정렬 점수를 수집한다. 두 점수의 의미가 다르므로 하나의 품질 숫자처럼 서로 바꾸어 읽어서는 안 된다.
평가 모형의 비교
데이터베이스에서 기존 품질 평가 모형과 사람 지각의 일치도를 비교한다. 관련 연구는 주관적인 텍스트 이미지 정렬 평가를 위한 StairReward도 제안한다. 어떤 점수와 어느 자료 분할에서 평가했는지가 해석에 중요하다.
정렬과 외관의 독립 예
설명용으로 세 개의 돌을 요청했는데 두 개만 매우 사실적으로 그려질 수 있다. 외관 품질은 높게 느껴져도 개수 조건은 틀린다. 실제 데이터베이스 이미지를 옮기지 않은 두 평가 축의 차이를 보여 주는 예다.
관련 문서
CLIP-AGIQA / IP-IQA / ImageReward / T2IScoreScore / GenEval / LIVE 실환경 품질 데이터베이스