디코더 앞부분의 역할
디코더의 앞 절반은 영상 인코더 출력에 대한 교차 어텐션 없이 텍스트를 표현한다. 여기서 얻은 단일 모달 텍스트 표현은 영상 표현과의 대조 학습에 사용한다.
뒷부분의 모달 결합
나머지 디코더 층은 영상 인코더를 교차 어텐션으로 참조한다. 이 결합 표현에서 텍스트 토큰을 자기 회귀적으로 예측해 캡션 생성 손실을 계산한다.
두 목적의 공동 학습
대조 목적과 생성 목적은 같은 계산 그래프를 공유한다. 웹의 대체 텍스트와 주석 영상의 표지를 모두 텍스트로 취급해 자연어 감독 아래에서 처음부터 함께 학습했다.
활용 범위
연구는 시각 인식, 모달 간 검색, 다중 모달 이해, 영상 캡션 생성에 걸쳐 평가했다. 제로샷 전이와 과제별 조정을 각각 구분해 결과를 봐야 하며, 모델의 모든 사용 방식이 제로샷인 것은 아니다.