표현에서 사라지는 차이
서로 다른 영상이 CLIP 임베딩 공간에서 매우 가깝게 놓이면 세부 차이가 후속 모델에 잘 전달되지 않을 수 있다. 연구는 이런 영상 쌍을 이용해 시각 표현의 부족한 부분을 분석했다.
간단한 질문으로 드러내는 오류
사람이 구별할 수 있는 시각 차이에 대해 직접적인 질문을 구성했다. 복잡한 언어 추론보다 방향과 상태 같은 기본 시각 패턴을 읽는 데 초점을 두며 아홉 범주를 다룬다.
인코더와 후속 모델의 관계
CLIP 계열 모델이 어려워하는 패턴과 이를 사용하는 다중 모달 언어 모델의 오류 사이 관계를 살폈다. 결과는 언어 추론 능력과 시각 인코더가 제공하는 정보의 한계를 나누어 볼 필요를 드러낸다.
특징 혼합의 초기 접근
같은 연구는 시각 자기 지도 학습 특징을 결합하는 Mixture of Features를 제안했다. MMVP 평가와 특징 혼합 실험을 통해 여러 시각 표현이 서로 보완될 수 있는지 검토했다.
관련 문서
BLINK 시각 지각 평가 / CLIP / DINOv2 / 영상 인코더 / 시각 질문 응답 / 다중 모달 학습