생성으로 과제를 통일하기
영상이나 동영상의 내용을 설명하고 질문에 답하는 과제를 텍스트 생성으로 다룬다. 사전 학습과 미세 조정 사이에서 일관된 생성 구조를 사용하는 방향이다.
외부 모듈을 줄이는 설계
연구는 물체 검출기, 태그 생성기, 광학 문자 인식 같은 외부 모듈에 의존하는 복잡한 구성을 줄이려 했다. 영상 인코더와 텍스트 디코더를 결합한 단순한 구조를 제시한다.
자료와 모델의 확장
사전 학습 자료와 모델 규모를 확대해 성능을 높이는 실험을 수행했다. 구조가 단순하다는 설명은 큰 규모의 학습 자원이 필요 없다는 의미와는 다르다.
분류와 문자 인식
캡션과 질의응답 외에 생성 기반 영상 분류와 장면 문자 인식도 제안했다. 여러 벤치마크에서 얻은 점수는 각 평가 지표의 결과이며 사람 수준의 전반적 시각 이해를 뜻하지는 않는다.