언어 현상별 진단
존재 여부와 복수성, 수 세기와 공간 관계, 행동 및 개체 공지시를 각각 시험한다. 여러 과제를 합친 평균 성능 뒤에 가려질 수 있는 세부 언어 이해의 차이를 드러내는 구성이다.
대조 설명의 구성
원래 영상 설명에서 목표 표현을 바꾸어 시각 내용과 맞지 않는 대조 설명을 만든다. 모델은 어떤 표현이 영상에 근거하는지 구별해야 하며, 자료 구성에는 자동 및 사람의 검증을 사용한다.
편향을 줄이는 점검
정답 설명과 대조 설명 사이의 단어 빈도 분포를 맞추고 텍스트만 사용하는 모델도 시험했다. 문장의 자연스러움이나 통계적 차이만으로 답을 맞히는 가능성을 줄이려는 점검이다.
평가의 활용 범위
발표 당시 다섯 모델은 다수의 언어 현상에서 어려움을 보였다. VALSE는 검색이나 질문 응답 같은 과제 중심 평가를 보완하며, 어떤 언어 구조와 시각 관계에서 오류가 생기는지 분석하는 데 쓰인다.
관련 문서
Winoground / SugarCrepe / 조합 이해 벤치마크의 분포 비대칭 / CLIP / 시각 질문 응답 / 공지시 해결