언어에 지각 정보 연결하기
웹 규모의 자료에서 텍스트만 있는 경우와 영상 캡션 쌍, 영상과 텍스트가 교차하는 경우를 함께 학습한다. 언어 모델이 시각 정보를 문맥의 일부로 처리하는 방향이다.
문맥과 지시의 활용
논문은 제로샷, 소수샷, 다중 모달 사고 사슬 프롬프트를 평가했다. 이 평가에서는 기울기 갱신이나 미세 조정을 하지 않았으며 사전 학습과 평가 단계의 조건을 구분해야 한다.
문서 영상과 시각 언어 과제
문서 영상을 직접 입력하는 언어 처리와 다중 모달 대화, 영상 캡션, 시각 질의응답을 다뤘다. 영상 인식의 분류 기준을 텍스트 지시로 설명하는 설정도 평가했다.
비언어 추론 평가
연구는 Raven 유형 검사 자료로 비언어적 추론 능력도 진단했다. 이런 개별 진단 결과는 전체 지능이나 일반적인 문제 해결 능력을 한 번에 보증하는 지표로 볼 수는 없다.