영상과 언어의 두 흐름
BERT의 구성을 확장해 시각 입력과 텍스트 입력을 별도로 처리한다. 각 흐름은 독립된 입력 특성을 유지하면서 공동 어텐션 트랜스포머 층에서 정보를 주고받는다.
전이할 수 있는 시각 대응
영상과 언어의 연결을 개별 과제 학습 때마다 새로 익히는 대신 미리 학습 가능한 능력으로 다룬다. 이를 통해 서로 다른 후속 과제가 같은 사전 학습 표현을 출발점으로 사용한다.
사전 학습 자료와 과제
자동 수집된 Conceptual Captions에서 두 대리 과제로 사전 학습한다. 이후 기본 구조에 작은 구성을 더해 질의응답이나 검색 등으로 전이하는 방식을 제시했다.
평가 범위
연구는 시각 질의응답, 시각 상식 추론, 지시 표현 이해, 캡션 기반 영상 검색을 평가했다. 당시 과제별 모델과의 비교 결과이며, 새로운 자료나 과제에서의 효과는 별도 검증이 필요하다.