텍스트를 추가하는 방법
오디오와 영상의 표현 학습에 텍스트 인코더를 통합한다. 장면을 설명하는 문장을 함께 사용해 세 모달리티에서 표현을 학습하도록 하는 구성이다.
자동 설명 생성
라벨 없는 영상에서 이미지 캡셔닝 모델로 프레임별 설명을 만든다. 사람이 모든 영상을 직접 주석 처리하는 대신 자동 생성한 텍스트를 학습에 활용한다.
소리와 맞는 설명 고르기
화면을 잘 설명한 문장이 실제 소리와도 관련 있다고 보장되지는 않는다. CLAP 기반 필터링으로 오디오와 설명의 정렬을 확인해 시청각 텍스트 묶음을 구성한다.
필터링의 범위
예를 들어 화면에 여러 물체가 있어도 실제 소리는 한 물체에서만 날 수 있다. 텍스트가 영상과 관련 있다는 것과 음향 내용까지 잘 나타낸다는 것을 구분해야 자동 주석의 한계를 해석하기 쉽다.
관련 문서
CAV-MAE / CAV-MAE Sync / CLAP / LAION-CLAP / AudioSet / VGGSound