여러 주석과 학습 목적의 부담
정제된 캡션과 영역 주석을 요구하면 학습 자료를 늘리는 데 비용이 든다. 자료마다 다른 학습 목적을 추가하는 방식 역시 사전 학습을 복잡하게 만들 수 있다.
하나의 목적을 사용하는 구성
SimVLM은 접두 언어 모델링이라는 단일 목표로 모델을 끝에서 끝까지 학습한다. 대규모 약한 감독을 활용해 여러 개별 목적에 의존하던 구성을 줄이는 방향을 택했다.
이해와 생성의 평가
시각 질의응답, NLVR2, 시각적 함의 판단과 영상 캡션 생성 등에서 결과를 제시했다. 판별 과제와 생성 과제 양쪽에서 같은 사전 학습 접근의 활용 가능성을 살펴본 연구다.
제로샷 결과의 범위
논문은 개방형 시각 질의응답과 모달 간 전이 같은 제로샷 동작도 보고했다. 제로샷 평가는 해당 과제의 별도 학습 여부에 관한 조건이며, 모델이 사전 학습 없이 작동한다는 의미는 아니다.