공동 표현의 사전 학습
COCO, Visual Genome, Conceptual Captions, SBU Captions의 영상 텍스트 자료를 사용한다. 개별 과제에만 맞춘 표현 대신 여러 종류의 시각 언어 이해에 활용할 결합 표현을 목표로 한다.
조건부 마스킹
언어 또는 영상 영역을 가린 채 예측하는 과제를 사용한다. 두 모달을 동시에 무작위로 가리기보다 한 모달을 가릴 때 다른 모달은 온전히 관측하는 조건부 마스킹을 적용한다.
전체와 부분의 대응
영상과 텍스트의 일치 판별이 전체 수준의 대응을 다룬다면, 단어 영역 정렬은 세부 대응을 다룬다. 후자에는 최적 수송을 사용해 단어와 시각 영역의 관계를 학습하도록 유도한다.
후속 과제
연구는 시각 질의응답, 영상 텍스트 검색, 지시 표현 이해 등 여섯 과제의 아홉 데이터셋에서 평가했다. 서로 다른 사전 학습 목적의 기여를 나누는 제거 실험도 수행했다.