생성을 통한 과제 처리
영상과 텍스트를 입력받아 문장을 생성하는 공통 인터페이스를 사용한다. 영상 캡션, 시각 질의응답, 장면 속 문자 이해 등 서로 다른 과제를 이 방식으로 다룬다.
이미 학습된 모델의 활용
큰 인코더 디코더 언어 모델과 비전 트랜스포머를 결합해 기존 능력을 활용한다. 새 모델의 학습만 볼 것이 아니라 재사용하는 구성 요소의 사전 학습도 전제로 살펴야 한다.
시각과 언어의 공동 확장
연구는 언어 구성 요소만이 아니라 시각 구성 요소의 규모도 함께 키우는 것이 중요하다고 분석했다. 이를 확인하기 위해 40억 매개변수 규모의 ViT-e도 학습했다.
다국어 평가의 의미
100개가 넘는 언어를 포함한 영상 텍스트 자료와 여러 사전 학습 과제를 사용한다. 다국어 학습 범위와 개별 언어에서 검증된 정확도는 같은 개념이 아니므로 과제별 결과를 구분해서 봐야 한다.