이해와 생성의 차이
이해 과제에만 맞춘 사전 학습은 문장을 생성하는 후속 과제와 학습 조건이 다를 수 있다. UniVL은 두 목적을 함께 고려한 영상 언어 사전 학습을 제안했다.
네 구성 요소
영상과 언어를 각각 인코딩하는 두 모듈에 교차 인코더와 디코더를 결합한다. 각 모달리티의 표현과 모달리티 사이 상호작용, 출력 생성을 나누어 담당한다.
다섯 학습 목표
영상 텍스트 공동 학습과 조건부 언어 마스킹, 조건부 프레임 마스킹, 영상 텍스트 정렬, 언어 복원을 사용한다. 이해와 생성에 필요한 서로 다른 신호를 구성 요소에 제공한다.
사전 학습 전략
단계별 사전 학습과 강화된 영상 표현 전략을 제안하고 HowTo100M에서 학습했다. 다섯 후속 과제에서 평가했으며 이 문서는 2020년 영상 언어 UniVL을 다룬다.
관련 문서
HowTo100M / HERO 영상 언어 모델 / VideoBERT / LAVENDER 영상 언어 모델 / ClipBERT / 트랜스포머