언어를 연결의 기준으로
모달리티를 늘릴 때 무엇을 공통 기준으로 삼을지 정해야 한다. LanguageBind는 풍부한 의미를 담은 언어 표현을 기준으로 영상 언어 사전 학습을 여러 모달리티로 확장한다.
고정된 언어 인코더
영상 언어 사전 학습으로 얻은 언어 인코더를 고정한 뒤 다른 모달리티 인코더를 대조 학습한다. 여러 입력의 표현이 하나의 특징 공간에서 의미적으로 정렬되도록 한다.
VIDAL-10M
영상, 적외선, 깊이, 오디오와 대응 언어 설명을 갖춘 자료를 제안했다. 긴 영상의 잘린 구간 대신 의미가 완결된 짧은 영상 플랫폼의 자료를 사용한다는 구성상의 특징이 있다.
직접 대응과 간접 정렬
언어를 거쳐 다양한 모달리티 사이의 간접 정렬과 상보성을 평가했다. 15개 벤치마크 결과를 제시했지만 공통 공간의 유사도가 모든 입력의 세부 내용을 완전히 일치시킨다는 뜻은 아니다.