이미지와 영상을 함께 활용하기
텍스트로 영상을 찾기 위한 공동 임베딩을 학습한다. 이미지 설명 자료와 영상 설명 자료를 각각 사용하거나 함께 사용할 수 있는 종단 간 구조를 제안했다.
공간과 시간의 주의
ViT와 TimeSformer를 확장한 모델로 공간 및 시간 주의를 구성한다. 이미지와 영상의 공통 시각 정보를 활용하면서 시간 문맥도 학습하는 방향이다.
시간 범위를 넓히는 학습
처음에는 이미지를 영상의 멈춘 순간처럼 취급하고, 영상 학습에서 점차 더 긴 시간 문맥에 주의를 적용한다. 이름의 Frozen은 모든 가중치를 고정한다는 의미가 아니다.
자료와 평가
함께 제안한 WebVid-2M은 약한 설명이 붙은 200만 개 이상의 영상 자료다. MSR-VTT, MSVD, DiDeMo, LSMDC에서 검색을 평가했으며, 초기 자료 규모와 후속 확장판은 구별해야 한다.