대상의 이름보다 지각 관계
영상에 어떤 물체가 있는지를 묻는 것과 두 대상 중 어느 쪽이 더 가까운지를 묻는 것은 다르다. BLINK는 상대 깊이와 시각 대응, 여러 시점의 관계 같은 기초 지각을 중심으로 구성했다.
기존 과제의 질문 변환
열네 가지 고전적인 컴퓨터 비전 과제를 객관식 문제로 바꿨다. 하나 또는 여러 영상을 사용하고 시각 프롬프트를 더해 다중 모달 모델에 같은 형식으로 질문할 수 있도록 했다.
사람과 모델의 비교
발표 당시 평가에서 사람의 평균 정확도는 약 95.7%였고 시험한 다중 모달 모델들은 더 낮은 결과를 보였다. 이 비교는 당시 모델과 평가 설정에 대한 것이며 이후 모델의 점수를 대신하지 않는다.
전문 모델이 주는 단서
일부 과제에서는 해당 문제에 특화된 컴퓨터 비전 모델이 더 나은 결과를 보였다. 연구는 언어 모델의 크기만이 아니라 시각 정보 처리 능력과 전문 지각 도구의 역할도 살펴야 함을 시사한다.
관련 문서
MMVP / VSR 공간 관계 평가 / 시각 질문 응답 / 깊이 추정 / 공간 추론 / 다중 모달 학습