질문의 품질도 평가에 영향
요청에서 질문을 만들고 생성 이미지의 답을 비교하는 평가는 질문 생성기와 시각 응답기의 영향을 받는다. 요청에 없는 내용을 묻거나 중요한 조건을 빠뜨리면 평가가 흔들릴 수 있다. DSG는 이런 신뢰성 문제를 다루는 틀이다.
원자적 질문과 의존성
하나의 사실을 묻는 중복 없는 질문들을 만들고 의존 관계로 정리한다. 의미 범위를 적절히 덮으면서 서로 모순되는 응답을 피하는 방향이다. 질문을 독립된 목록으로만 나열할 때보다 앞선 전제가 무엇인지 명확히 할 수 있다.
전제가 필요한 속성
설명용으로 창문이 없다는 응답과 창문이 열렸다는 응답을 동시에 참으로 받아들이면 모순이다. 물체의 존재와 그 속성의 검사는 의존 관계를 갖는다. 실제 논문의 예제를 옮기지 않은 전제 관계의 설명이다.
평가 틀과 자료
다양한 질문 생성 및 응답 틀에 적용할 수 있도록 설계하며 DSG-1k 벤치마크를 제시한다. 그래프가 일관적이어도 이미지 판단 자체가 틀릴 수 있다. 질문의 의미 범위와 응답 정확도, 그래프 일관성을 구분해 확인해야 한다.
관련 문서
VPEval / TIFA / ConceptMix / GenEval / T2I-CompBench 플러스플러스 / Q-Bench