공유와 전문화의 결합
각 트랜스포머 블록에 모달별 전문가의 집합과 공유 자기 어텐션 층을 둔다. 모달마다 필요한 처리와 모달 사이에 공유할 처리를 모듈형 구조로 결합한다.
두 가지 인코더 사용법
미세 조정한 모델을 영상 언어 분류에서는 융합 인코더로 사용할 수 있다. 영상 텍스트 검색에서는 각각의 표현을 만드는 이중 인코더로 활용해 효율적인 검색을 지원한다.
단계적 사전 학습
영상 텍스트 쌍뿐 아니라 영상만 있는 자료와 텍스트만 있는 자료를 활용하는 단계적 사전 학습을 제안했다. 짝이 있는 자료에만 모든 학습을 의존하지 않는 구성이다.
평가 범위
논문은 VQA, NLVR2, 영상 텍스트 검색 등의 과제에서 실험했다. 같은 사전 학습 모델이라도 이중 인코더와 융합 인코더는 정보가 상호작용하는 방식이 다르므로 과제별 구성을 함께 봐야 한다.