설명 선택 평가의 편법
정답 문장과 방해 문장의 문체나 자연스러움이 다르면 영상 없이도 정답을 추측할 수 있다. 연구는 기존 조합 이해 평가에서 이런 편향이 성능을 부풀릴 수 있다고 지적했다.
자연스러운 어려운 음성 예시
규칙 기반 문장 틀 대신 대형 언어 모델로 유창하고 말이 되는 방해 설명을 생성한다. 시각적 내용과의 대응을 확인해야 구별할 수 있는 선택지를 만들려는 설계다.
적대적 정제의 역할
생성한 자료에서 편향을 줄이기 위해 적대적 정제 과정을 적용한다. 음성 예시의 난도를 높이는 것뿐 아니라 정답 여부를 드러내는 비시각적 단서를 줄이는 데 초점을 둔다.
개선 방법의 재평가
기존 모델과 조합 이해를 높이려는 학습 전략을 다시 평가해 앞선 개선 추정이 과대했을 수 있음을 보였다. 평가 자료의 편향 완화와 모든 편법의 완전한 제거는 별개의 주장이다.
관련 문서
Winoground / CLIP / 대조 학습 / 자료 편향 / 시각 질문 응답 / 다중 모달 학습