공유 구조 안의 전문가
영상과 언어는 같은 트랜스포머를 사용하면서 모달을 고려한 희소 전문가 혼합 모듈을 거친다. 서로 다른 전문가를 선택해 입력 종류에 특화된 정보를 처리한다.
하나의 복원 과제
영상 텍스트 쌍에서 일부 신호를 가리고 보이는 정보로 복원한다. 영상의 픽셀과 텍스트 토큰을 함께 예측해 두 모달의 사전 학습 목표를 통일한다.
학습 효율의 비교
논문은 영상 텍스트 대조 손실과 일치 판별 손실을 사용하는 비교 모델보다 빠른 학습을 보고했다. 이는 해당 학습 구성의 비교이며 모든 장비나 모델에 같은 속도 차이가 적용되는 것은 아니다.
후속 과제
연구는 시각 질의응답, 시각 추론, 영상 텍스트 검색을 평가했다. 구조와 학습 목표를 함께 단순화한 접근이므로 효율을 비교할 때는 전문가 구성과 학습 목적을 모두 살펴야 한다.