과제를 같은 형식으로
영상 생성, 시각적 위치 대응, 영상 캡션, 영상 분류, 언어 모델링을 공통의 시퀀스 변환 형식에 담는다. 모달과 과제마다 별도 구성을 만드는 부담을 줄이려는 접근이다.
지시를 통한 과제 전달
사전 학습뿐 아니라 미세 조정에서도 지시 기반 학습을 사용한다. 후속 과제에 전용 층을 따로 더하지 않고 모델에 수행할 과제를 전달하도록 구성했다.
학습 자료의 범위
논문은 공개 영상 텍스트 쌍 2천만 개를 활용한 사전 학습을 보고했다. 이 수치는 모달 간 학습 자료의 규모를 설명하며, 모델 전체 비용이나 모든 학습 신호를 한 숫자로 나타낸 것은 아니다.
전이의 평가
연구는 단일 모달과 모달 간 과제 양쪽을 평가하고, 보지 못한 과제와 영역으로의 전이도 분석했다. 과제를 같은 형식에 넣었다는 사실과 모든 입력에서 같은 성능을 낸다는 주장은 구분된다.
관련 문서
GIT 영상 텍스트 생성 / CoCa / FLAVA / 시퀀스 투 시퀀스 / 미세 조정 / 시각 언어 모델