한 점수에 섞인 여러 능력
단어의 순서를 이해하더라도 영상에서 필요한 대상을 찾지 못하면 대응 과제에 실패할 수 있다. 연구는 같은 평가 점수에 여러 종류의 능력이 함께 반영된다는 점을 살폈다.
상식과 세부 물체 인식
새 세부 태그로 자료를 주석하면서 상식 추론이나 낮은 해상도의 작고 흐린 물체를 찾는 어려움을 분류했다. 오류를 조합적 언어 이해의 부족으로만 묶지 않고 원인별로 분석하려는 접근이다.
관련 과제와 자료 변형
프로빙 과제와 영상 검색, 자료 증강 실험 및 수동 점검을 함께 사용했다. 입력을 다르게 구성했을 때의 결과를 비교해 전체 대응 과제의 어느 부분이 특히 어려운지 살폈다.
표현 융합에 대한 시사점
분석은 시각 및 텍스트 표현을 결합하는 과정이 중요한 어려움일 수 있다고 제안했다. 이는 언어 이해가 불필요하다는 결론이 아니라 평가 실패를 여러 처리 단계로 나누어 진단해야 한다는 관점이다.
관련 문서
Winoground / CLIP / SugarCrepe / 다중 모달 학습 / 영상 검색 / 시각 질문 응답