영상 백본의 출발점
영상 패치를 사용하는 모델도 다중 모달 학습에 앞서 ImageNet 분류로 백본을 학습하는 경우가 있었다. VLC는 이러한 분류 감독이 필수인지를 묻는 연구다.
캡션에서 배우기
가린 영상을 복원하는 마스크 오토인코더 위에서 시각 언어 모델을 구성한다. 분류 범주나 경계 상자를 이용한 사전 감독을 요구하지 않는 학습 경로를 제시한다.
감독이 없다는 말의 범위
저수준 사람 주석을 요구하지 않는다는 설명은 영상에 연결된 캡션도 쓰지 않는다는 뜻이 아니다. 모델은 캡션을 시각 언어 학습의 정보로 활용한다.
비교 결과
논문은 ViLT와의 직접 비교에서 벤치마크 성능과 패치 시각화를 분석했다. 경계 상자로 학습한 영역 특징을 쓰는 더 큰 모델과도 비교했지만, 결과를 모든 규모와 과제의 우열로 일반화할 수는 없다.