가린 내용을 복원하는 학습
영상과 언어의 일부 토큰을 감추고 나머지에서 이를 예측한다. 서로 대응하는 입력 쌍을 가깝게 만드는 대조 목적 대신 마스크 예측만으로 표현을 학습할 수 있는지 살펴본다.
공유 표현 공간
영상용과 언어용 인코더를 따로 두는 대신 통합 인코더를 학습한다. 연구는 학습된 표현이 양쪽 모달의 의미 있는 정보를 포함하는지를 정성적으로 분석했다.
텍스트 마스킹의 비율
논문에서는 두 모달을 함께 학습할 때 높은 텍스트 마스킹 비율이 유리한 결과를 보였다. 이는 해당 다중 모달 학습의 관찰이며, 모든 언어 모델에 같은 비율이 적합하다는 규칙은 아니다.
쌍이 없는 자료의 활용
영상과 텍스트가 짝지어진 자료뿐 아니라 짝이 없는 자료로도 학습하는 유연성을 제시했다. 모델 크기와 학습 시간에 따른 확장성 및 후속 과제로의 전이도 실험했다.