이해와 생성의 공통 기반
검색이나 질의응답에 강한 모델이 반드시 캡션 생성에도 강한 것은 아니다. BLIP는 두 종류의 후속 과제로 유연하게 전이할 수 있는 사전 학습을 목표로 한다.
웹 캡션의 잡음
웹에서 얻은 영상 텍스트 쌍을 늘리는 것만으로는 감독의 품질 문제가 해결되지 않는다. 영상과 덜 관련된 문장이나 불완전한 설명이 학습에 섞일 수 있기 때문이다.
캡션을 생성하고 거르기
캡션 생성기가 합성 설명을 만든 뒤 필터가 잡음을 제거하는 부트스트래핑을 적용한다. 학습 자료의 규모뿐 아니라 영상과 설명의 대응 품질을 개선하려는 구성이다.
평가와 전이
논문은 영상 텍스트 검색, 영상 캡션 생성, 시각 질의응답의 개선을 보고했다. 동영상 언어 과제의 제로샷 전이도 평가했으며, 이는 원래의 사전 학습이 없다는 의미와는 구분된다.