정렬 중심의 선택
하나의 공통 공간을 만들더라도 어느 모달리티를 중심으로 삼느냐에 따라 표현이 치우칠 수 있다. UniBind는 이미지 중심 정렬의 한계를 다루며 모달리티에 독립적인 중심을 구성하려 한다.
이름보다 풍부한 의미
분류 이름만으로 텍스트 임베딩을 얻으면 다양한 입력의 의미를 충분히 표현하기 어려울 수 있다. 언어 모델과 다중모달 언어 모델로 텍스트 임베딩 지식 기반을 구성한다.
클래스별 중심과 정렬
지식 기반과 인코딩된 시각 표현을 이용해 클래스별 중심을 적응적으로 만든다. 대조 학습으로 여러 모달리티의 임베딩을 이 중심에 정렬한다.
범위와 평가
이미지, 텍스트, 오디오, 점군, 열 영상, 영상, 이벤트 자료를 다룬다. 제로샷 인식과 다중모달 미세 조정 결과를 평가했으며 여기서 균형이라는 표현은 모든 입력에 대한 성능이나 사회적 공정성을 보장한다는 뜻은 아니다.
관련 문서
ImageBind / LanguageBind / Omnivore / CLIP / 대조 학습 / 임베딩