자료 구성에서 생기는 차이
정답 캡션은 실제 자료에서 가져오고 오답은 별도 규칙이나 생성 과정으로 만들면 두 집단의 문체와 통계가 달라질 수 있다. 이 비대칭은 원래 평가하려는 조합 이해와 다른 신호가 된다.
영상을 보지 않는 기준선
연구는 토큰 길이나 언어 모델 로그 가능도 같은 휴리스틱을 시험했다. 시각 정보를 쓰지 않는 방법이 CLIP과 비슷한 결과를 보이는 경우는 평가 점수에 비시각적 단서가 섞일 가능성을 드러낸다.
열일곱 평가의 구성 검토
SugarCrepe와 VALSE 등 열일곱 벤치마크에서 자료 출처와 음성 영상 또는 캡션의 구성 절차를 조사했다. 서로 다른 평가에도 자료를 만드는 방식에서 공통된 편향이 생길 수 있음을 분석했다.
점수 해석과 평가 설계
분석은 양성 및 음성 후보의 분포를 함께 점검하고 단순한 편법 기준선을 비교할 필요를 제안한다. 높은 점수를 곧바로 조합적 이해로 해석하기 전에 후보 생성의 영향을 확인하는 관점이다.
관련 문서
SugarCrepe / Winoground / 자료 편향 / CLIP / 대조 학습 / 벤치마크