시각과 언어의 토큰화
영상 데이터를 벡터 양자화해 시각 토큰열로 만들고, 음성 인식 결과에서 언어 토큰열을 얻는다. 서로 다른 입력을 함께 모델링할 수 있는 표현으로 구성한다.
양방향 공동 학습
BERT를 바탕으로 시각과 언어 토큰의 양방향 공동 분포를 학습한다. 낮은 수준의 외형만이 아니라 영상과 언어가 공유하는 높은 수준의 의미를 학습하려는 접근이다.
후속 과제
행동 분류와 영상 설명 생성에 적용하고 개방 어휘 분류도 살펴봤다. 시각 언어 토큰의 학습과 실제 영상 프레임을 생성하는 과제는 구분해야 한다.
자료와 감독의 해석
대규모 자료와 모달리티 사이 정보의 중요성을 실험했다. 명시적 행동 정답 없이 학습한다는 설명은 음성 인식 시스템이나 시각 특징 등 어떤 사전 구성도 쓰지 않는다는 뜻이 아니다.
관련 문서
BERT / VIOLET / VideoCLIP / HERO 영상 언어 모델 / 벡터 양자화 / 다중모달 학습