관계를 바꾸는 단어 순서
두 설명에 같은 단어가 있어도 순서가 달라지면 누가 무엇을 하는지 또는 무엇이 어디에 있는지가 달라질 수 있다. 모델은 단어 목록이 아니라 문장 구조와 영상의 관계를 함께 해석해야 한다.
쌍을 맞추는 과제
두 영상과 두 캡션의 올바른 대응을 고른다. 한 종류의 물체가 보이는지만 확인해서는 두 설명의 차이를 해결하기 어렵도록 구성한 평가다.
사람의 선별과 세부 표지
전문 주석자가 예시를 직접 선별하고 다양한 세부 태그를 부여했다. 태그는 모델이 어떤 유형에서 어려움을 보이는지 나누어 분석하는 데 사용된다.
발표 당시 모델의 한계
논문이 시험한 여러 영상 언어 모델은 우연 수준을 크게 넘지 못하는 결과를 보였다. 이는 해당 시점의 모델과 평가 조건에 대한 관찰이며, 현재 모든 모델의 성능을 뜻하는 수치는 아니다.
관련 문서
CLIP / CyCLIP / ImageInWords / SugarCrepe / 시각 질문 응답 / 다중 모달 학습