세 인코더의 분담
물체 관계 인코더는 시각 개념 사이의 관계를, 언어 인코더는 문장의 표현을 다룬다. 모달 간 인코더는 둘의 대응과 관계를 학습해 시각 언어 추론에 필요한 결합을 만든다.
가린 언어와 물체 예측
가린 단어를 맞추는 언어 모델링과 가린 물체를 예측하는 과제를 사용한다. 물체 예측에는 특징 회귀와 범주 분류가 포함돼 시각 표현 자체의 학습도 지원한다.
모달 사이의 학습 신호
영상과 문장의 대응 여부를 판단하는 과제와 영상 질의응답도 사전 학습에 포함한다. 모달 내부의 관계와 서로 다른 모달 사이의 관계를 여러 목표로 함께 학습한다.
전이와 구성 요소 분석
사전 학습한 매개변수에서 미세 조정해 VQA와 GQA를 평가하고 NLVR2로도 전이했다. 연구는 구성 요소와 사전 학습 전략의 기여를 나누어 확인하는 제거 실험을 제시했다.