여러 검사 도구의 조합
하나의 평가 모형이 어떤 기능에는 강하고 다른 기능에는 약할 수 있다. VPEval은 여러 전문 시각 모듈을 호출하는 평가 프로그램을 만든다. 요청 조건에 맞는 판단을 도구별로 구성해 해석 가능한 평가를 지향한다.
프로그램으로 남기는 판단
평가 단계를 프로그램으로 나타내면 어떤 검사가 사용됐는지 살필 수 있다. 결과에 시각 및 텍스트 설명도 제공한다. 설명이 있다는 사실과 설명이 정확하다는 사실은 다르므로 중간 검사 결과의 오류도 확인해야 한다.
생성 절차와의 구분
같은 연구는 물체 및 개수 생성, 배치 생성, 이미지 생성으로 나누는 VPGen도 제시한다. VPEval은 생성 결과를 평가하는 쪽의 틀이다. 결과를 만드는 단계와 이미 만들어진 결과의 조건을 검사하는 단계를 혼동하지 않는 것이 중요하다.
다른 질문 다른 도구
설명용 요청에서 물체가 두 개인지 확인하는 일과 표지판에 지정 문자가 있는지 읽는 일은 필요한 판단이 다르다. 기능별 검사를 결합하는 이유를 보여준다. 실제 프로그램 코드나 모듈 목록, 논문 프롬프트를 재현한 예는 아니다.
관련 문서
DSG 생성 평가 / TIFA / GenEval / ConceptMix / Q-Bench / T2I-CompBench 플러스플러스