사전 학습 모델의 연결
시각 전용 모델과 언어 전용 모델의 능력을 연결하는 구조를 사용한다. 영상뿐 아니라 동영상도 입력으로 받아 시각 정보에 대한 언어 출력을 생성하도록 설계했다.
예시가 들어 있는 문맥
시각 정보와 텍스트가 번갈아 등장하는 시퀀스를 처리한다. 과제별 입력과 답의 예시를 프롬프트에 넣어 새로운 입력에 대한 응답 방식을 전달할 수 있다.
다중 모달 웹 학습
교차 배열된 텍스트와 영상을 포함하는 대규모 웹 자료로 학습한다. 소수 예시 적응은 이런 사전 학습으로 얻는 능력이며, 모델이 소량의 자료만으로 처음부터 학습됐다는 뜻은 아니다.
평가 과제
논문은 개방형 질의응답과 장면 설명, 선택형 질의응답 등 영상 및 동영상 과제를 평가했다. 과제별 예시를 제시하는 문맥 내 적응과 모델의 매개변수를 갱신하는 미세 조정은 구분된다.