여러 조건을 함께 그리기
텍스트 이미지 모형은 물체 하나를 그리는 데 능숙해도 여러 물체의 속성과 관계를 함께 맞히기 어려울 수 있다. 이 벤치마크는 그런 구성 능력을 평가한다. 초기 T2I-CompBench를 확장한 연구이며 두 버전의 평가 항목과 결과를 구분해야 한다.
평가 범주의 구성
확장판은 속성 연결과 물체 관계, 생성 개수, 복합 구성을 큰 범주로 둔다. 여기에 3차원 공간 관계와 개수 같은 하위 범주를 포함한다. 전체 평균만 보면 어떤 조건이 특히 어려운지 가려질 수 있으므로 범주별 결과도 중요하다.
검출과 다중모달 평가
3차원 공간 관계와 개수에 맞춘 검출 기반 지표를 제시한다. 다중모달 대형 언어 모형을 평가 수단으로 사용하는 분석도 수행한다. 평가 수단마다 가능한 판단과 오류가 달라 사람의 해석과 어느 정도 맞는지 확인해야 한다.
관계와 개수의 독립 예
설명용 요청이 상자 앞의 공 세 개라면 공이 세 개 있는지와 상자 앞에 놓였는지는 다른 조건이다. 하나를 맞혀도 다른 하나를 틀릴 수 있다. 이는 범주를 나누는 이유를 보여주는 예이며 실제 자료의 프롬프트를 옮기지 않았다.
관련 문서
GenEval / MPS 이미지 선호 / PickScore / HPS v2 / ImageReward / Q-Bench