과제별 구조의 통합
영상 언어 과제마다 구조와 학습 목적을 따로 설계하는 대신, 가려진 언어를 예측하는 형식을 공통으로 사용한다. 같은 인터페이스로 사전 학습과 후속 과제를 연결하려는 접근이다.
가벼운 출력부
많은 매개변수를 가진 별도 디코더 대신 다중모달 인코더 위의 가벼운 MLM 출력부를 사용한다. 이 구조적 특징이 전체 모델의 모든 계산량이 작다는 뜻은 아니다.
다중 과제 미세 조정
여러 후속 과제를 함께 미세 조정할 때 하나의 매개변수 집합으로 지원하는 설정을 살펴봤다. 과제마다 별도 모델을 저장하는 방식과 비교되는 구성이다.
일반화의 평가
영상 질의응답과 텍스트 영상 검색, 캡셔닝을 포함한 14개 벤치마크에서 평가했다. 적은 예제 전이와 질의응답의 제로샷 조건도 구분해 분석했다.
관련 문서
VIOLET / HERO 영상 언어 모델 / ClipBERT / Vid2Seq / TimeChat / 마스크 언어 모델