전체 점수 너머의 검사
이미지가 전반적으로 좋아 보여도 요청한 물체가 빠질 수 있다. GenEval은 전체 품질이나 문장 관련성의 단일 수치만으로 파악하기 어려운 세부 조건을 평가한다. 물체의 동시 등장과 배치, 수와 색 같은 구성적 속성이 관심 대상이다.
검출 모형 활용
기존 객체 검출 모형을 이용해 생성 결과의 물체 조건을 확인한다. 색 같은 속성을 검사하기 위해 다른 판별 시각 모형을 연결할 수도 있다. 평가기는 생성 이미지의 모든 의미를 이해하는 완전한 심판이 아니라 정해진 속성을 검사하는 도구다.
속성과 물체의 연결
붉은 가방과 푸른 컵을 요청했을 때 두 물체와 두 색이 모두 보여도 색이 뒤바뀌면 조건을 어긴다. 이 독립 예시는 속성을 해당 물체에 연결하는 문제를 설명한다. 실제 벤치마크 문항이나 모델 결과를 그대로 옮긴 것은 아니다.
오류를 찾는 데 활용하기
세부 조건별 결과는 생성 모형이 어떤 요청에서 실패하는지 파악하는 데 도움이 된다. 검출기가 물체를 놓치거나 색을 잘못 판단할 가능성도 고려해야 한다. 평가 점수가 낮은 원인이 생성 오류인지 판별 오류인지 표본을 확인해 구분한다.
관련 문서
T2I-CompBench 플러스플러스 / ImageReward / PickScore / HPS v2 / MPS 이미지 선호 / Q-Bench