구조와 데이터에 집중하기
서로 따로 학습된 대조 모델의 표현을 함께 활용하려면 공간 간 연결이 필요하다. EBind는 모달리티당 한 인코더와 품질을 고려한 학습 자료에 집중하는 간소한 구성을 제안한다.
세 종류의 학습 자료
자동으로 구성한 다중모달 다섯 항목 묶음, 사람이 불일치와 부분 일치 및 일치로 판단한 세 항목 묶음, 기존 캡션 자료를 조합한다. 완전한 일치만 학습 자료로 취급하는 구성과 다르다.
자료별 기여의 평가
13가지 평가로 자료 구성 요소의 가치를 비교했다. 모델 크기의 차이만으로 결과를 설명하기보다는 인코더와 학습 자료의 조건을 함께 살펴야 한다.
오디오와 점군
오디오와 점군 사이의 제로샷 분류를 위한 합의 주석 벤치마크도 제안했다. 이는 특정 평가 관계를 정의한 자료이며, 임의의 소리만으로 모든 물체의 정확한 3차원 형상을 복원한다는 뜻은 아니다.
관련 문서
ImageBind / LanguageBind / UniBind / VATT / 대조 학습 / 다중모달 학습