요청을 질문으로 나누기
텍스트 입력에서 언어 모형으로 여러 질문과 정답 쌍을 자동 생성한다. 질문마다 요청의 다른 요소를 살필 수 있도록 하는 방향이다. 전체 이미지와 문장의 유사도 하나만 내는 것보다 어떤 조건이 맞았는지 해석하기 쉽다.
이미지에서 답 확인하기
생성 이미지를 본 시각 질의응답 모형이 질문에 맞는 답을 할 수 있는지 확인한다. 이를 이용해 이미지의 텍스트 충실도를 계산한다. 질문 생성과 이미지 응답은 별도 단계이며 어느 단계의 오류도 평가에 영향을 줄 수 있다.
참조 없는 세부 평가
같은 장면의 깨끗한 원본 이미지가 없어도 평가할 수 있다. 물체와 개수 등을 포함한 여러 범주의 질문을 갖춘 TIFA v1.0 벤치마크도 제시한다. 요청 충실도를 높게 평가받는 것과 아름답거나 사실적인 이미지를 만드는 일은 같지 않다.
질문이 빠뜨리는 조건
설명용 요청이 닫힌 창문 두 개라면 창문이 있는지, 두 개인지, 닫혀 있는지를 따로 확인할 수 있다. 질문이 개수만 묻는다면 열린 상태의 오류를 놓칠 수 있다. 실제 자료의 문항을 옮기지 않은 질문 범위의 예다.
관련 문서
ConceptMix / GenEval / T2I-CompBench 플러스플러스 / Q-Bench / Q-Instruct / ImageReward