이미지 지식의 전이
이미지와 텍스트로 학습한 시각 개념이 영상 검색에도 도움이 되는지를 다룬다. CLIP4Clip은 CLIP의 지식을 영상 언어 검색에 종단 간 방식으로 옮긴다.
시간 관계의 구성
영상은 여러 프레임으로 이루어지므로 이미지 특징만으로 충분한지와 프레임 사이 시간 의존성을 어떻게 모델링할지 비교한다. 전체 영상의 의미와 프레임의 순서는 다른 단서다.
추가 학습과 설정
대규모 영상 텍스트 자료의 추가 사전 학습이 어떤 영향을 주는지 조사하고, 검색 과제에서 하이퍼파라미터에 대한 민감도도 분석한다. 구조 하나의 결과만으로 전이 효과를 단정하지 않는다.
검색의 평가
MSR-VTT, LSMDC, ActivityNet, DiDeMo 등의 영상 검색 자료에서 평가했다. 전체 영상 검색은 설명에 해당하는 정확한 시작과 끝을 찾는 구간 검색과 구별되는 과제다.
관련 문서
CLIP / ClipBERT / VideoCLIP / Frozen in Time 영상 검색 / X-CLIP 영상 검색 / 임베딩