세 관점으로 나누는 평가
생성 이미지가 보기 좋은지, 진짜처럼 느껴지는지, 요청과 맞는지는 관련되지만 다른 질문이다. AIGCIQA2023은 이 세 관점에서 사람의 시각 선호를 수집한다. 하나의 축에서 좋은 결과를 다른 축의 성공으로 그대로 읽어서는 안 된다.
공통 요청의 생성 결과
여섯 텍스트 이미지 생성 모형과 백 개 프롬프트를 이용해 이천 장 이상의 영상을 구성한다. 공통 요청에서도 생성기와 결과에 따라 평가가 달라질 수 있다. 자료 크기 자체가 모든 장르와 사용자 선호의 대표성을 보장하지는 않는다.
주관 평가와 자동 지표
구성한 자료에서 주관 실험을 수행하고 여러 이미지 품질 지표의 성능을 비교한다. 평가하려는 축에 맞는 정답 점수를 선택해야 한다. 진정성 점수와 문장 대응 점수를 혼합해 비교하면 다른 목표를 측정할 수 있다.
의도된 양식의 독립 예
설명용으로 종이 공예 양식의 집을 요청했다면 사진처럼 보이지 않는 결과도 요청에는 충실할 수 있다. 사진 같은 느낌과 의도된 양식의 준수는 다르다. 실제 데이터베이스 문항을 옮기지 않은 세 평가 관점의 관계에 대한 예다.
관련 문서
AGIQA-3K / MA-AGIQA / IP-IQA / CLIP-AGIQA / ImageReward / LIVE 실환경 품질 데이터베이스