텍스트 전사 없이 학습하기
시각적 언어 학습에 사람이 만든 캡션이나 음성 인식 전사문이 자주 쓰인다. AVLnet의 기본 모델은 무작위로 나눈 영상 클립과 원래 오디오 파형에서 대응을 학습한다.
공통 시청각 공간
HowTo100M의 교육 영상으로 음성과 시각 정보가 공유하는 임베딩 공간을 학습한다. 전사된 단어뿐 아니라 발화와 자연음이 가진 정보도 단서가 될 수 있다.
세 모달리티 확장
음성 파형과 영상에 텍스트 캡션을 함께 처리하는 확장 모델도 제안했다. 전사문 없는 기본 모델과 텍스트가 제공되는 확장의 입력 조건은 구분해야 한다.
검색 평가
이미지 검색과 영상 검색에서 표현을 평가하고 세 모달리티 공간의 텍스트 영상 검색도 살펴봤다. 특정 소리와 시각 개념의 연관을 학습하는 것이 소리의 원인을 항상 정확히 식별한다는 뜻은 아니다.
관련 문서
HowTo100M / VideoCLIP / MIL-NCE 영상 표현 학습 / CAV-MAE / BEATs / 다중모달 학습