이미지 지식과 영상의 시간
CLIP이 학습한 공간 의미를 활용하되 영상 프레임 사이의 시간 관계를 추가한다. 대규모 영상 텍스트 자료에서 모든 시공간 표현을 처음부터 배우는 방식과 구별되는 전이 접근이다.
시간 차이 블록
세밀한 프레임의 움직임을 포착하기 위해 시간 차이 블록을 사용한다. 영상의 외형이 비슷해도 시간에 따른 변화가 검색 의미에 기여할 수 있다.
시간 정렬 블록
영상 클립과 구문의 토큰을 다시 정렬해 다중모달 상관관계를 강화한다. 움직임을 표현하는 단계와 영상 언어 대응을 정교하게 하는 단계는 역할이 다르다.
양방향 검색 평가
MSR-VTT, MSVD, VATEX에서 텍스트로 영상을 찾는 방향과 영상으로 텍스트를 찾는 방향을 평가했다. 양방향 검색 성능과 구간의 정확한 위치 검출은 구분해야 한다.
관련 문서
CLIP4Clip / Cap4Video / TS2-Net / CenterCLIP / VideoCLIP / CLIP