점수가 무엇을 측정하는가
자동 평가 지표가 높은 점수를 주더라도 실제 이미지보다 문장의 익숙함에 반응할 수 있다. 구성 타당도는 측정하고자 하는 성질과 실제 점수의 관계를 묻는다. 점수의 반복 가능성과 측정 대상의 적합성은 다른 문제다.
언어와 시각 변화의 민감도
문장의 조건이나 이미지 내용을 바꾸었을 때 점수가 적절히 달라지는지 살핀다. CLIPScore, TIFA, VPEval, DSG를 비교한 연구에서는 어느 지표도 검토한 바람직한 성질을 모두 충족하지 못했다. 이 결과는 해당 평가 조건의 범위에서 해석해야 한다.
구성 요소와 응답 편향
지표 안의 언어 모형이나 시각 질문 응답 모형이 실제로 어떤 정보를 더하는지 확인한다. 질문에 긍정적으로 답하는 경향 같은 지름길은 이미지 근거와 다른 신호다. 구성 요소를 제거하는 비교도 점수의 작동 원인을 파악하는 데 도움이 된다.
반복 질문의 독립 예
설명용으로 빈 상자 사진에 물체가 있는지 묻는 질문을 여러 형태로 바꾸어도 평가기가 계속 있다고 답할 수 있다. 답변의 일관성만으로 시각 이해가 정확하다고 볼 수 없다. 실제 연구 문항을 옮기지 않은 응답 편향의 예다.
관련 문서
T2IScoreScore / TIFA / VPEval / DSG 생성 평가 / GenEval / ConceptMix