모든 쌍을 모으는 부담
모달리티 종류가 늘면 가능한 조합도 많아진다. ImageBind는 각 조합의 대응 자료를 모두 모으는 대신 이미지와 다른 모달리티 사이의 자연스러운 짝을 공통 공간 학습에 활용한다.
이미지를 통한 연결
이미 학습된 대규모 시각 언어 모델을 이용하고 이미지와 짝을 이루는 새 모달리티로 제로샷 능력을 확장한다. 직접 학습하지 않은 모달리티 조합에서도 공통 공간의 관계를 사용할 수 있다.
공통 공간의 응용
서로 다른 모달리티를 질의와 결과로 쓰는 검색, 표현의 산술적 조합, 교차 모달리티 탐지와 생성 응용을 제시했다. 임베딩이 같아진다는 뜻이 아니라 공통 공간에서 관련성을 다루는 방식이다.
무엇이 성능에 영향을 주는가
이미지 인코더의 강도가 간접적으로 나타나는 능력에 영향을 주는 실험을 보고했다. 제로샷과 소수 예제 인식 결과를 구분하고, 학습하지 않은 모든 센서나 환경에 대한 성능 보장으로 해석하지 않아야 한다.
관련 문서
LanguageBind / Omnivore / VATT / CLIP / 다중모달 학습 / 임베딩