세 능력을 나누는 이유
밝기가 어떤지 맞히는 일과 외관을 자세히 설명하는 일, 전체 품질 점수를 매기는 일은 다르다. Q-Bench는 이 세 능력을 분리해 평가한다. 이미지 속 사물의 이름을 잘 맞힌다고 외관의 결함까지 정확히 설명한다고 볼 수는 없다.
질문과 설명 평가
LLVisionQA는 저수준 속성에 대한 사람의 질문을 갖춘 이미지 자료다. LLDescribe는 전문가가 작성한 자세한 설명을 갖추고 모형 출력과의 비교에 GPT가 참여하는 절차를 사용한다. 정답 문항 정확도와 생성 설명의 평가는 다른 측정이다.
수치 품질 평가
Softmax 기반 전략으로 모형이 수치화 가능한 품질 점수를 내도록 하고 기존 이미지 품질 자료의 사람 의견과 비교한다. 모형이 유창하게 응답하는 능력과 실제 사람의 품질 순위를 잘 맞히는지는 별도로 검증한다.
쌍 비교로의 확장
확장 연구 Q-Bench+는 단일 이미지에서 이미지 쌍의 질문과 설명 평가로 범위를 넓힌다. 예를 들어 한 장이 흐린지 묻는 것과 두 장 중 어느 쪽이 더 흐린지 묻는 것은 다르다. 이 문장은 실제 평가 문항을 옮긴 것이 아닌 과제 차이의 예다.