문장과 영상 영역의 관계
텍스트 입력과 연관 영상의 영역을 모델 안에서 함께 다룬다. 별도로 정답 대응을 지정하기보다 자기 어텐션이 두 입력 사이의 관계를 암묵적으로 학습하도록 한다.
시각 근거를 가진 언어 학습
영상 캡션 자료에 두 가지 시각 기반 언어 모델 사전 학습 목적을 적용한다. 텍스트만의 통계가 아니라 연관된 영상 정보를 활용하는 표현을 목표로 한다.
여러 이해 과제의 기준 모델
VQA, VCR, NLVR2, Flickr30K의 네 시각 언어 과제에서 평가했다. 연구는 비교적 단순한 구성으로도 당시 비교 모델과 경쟁하는 성능을 보이는 기준 모델을 제시했다.
학습된 대응의 분석
논문은 명시적인 대응 감독 없이 언어 요소와 영상 영역의 연결이 나타나는 사례를 분석했다. 동사와 논항에 해당하는 영역의 관계도 관찰했지만, 이런 사례가 모든 문장의 정확한 시각적 이해를 보장하지는 않는다.