고정 백본 구조의 한계
사전 학습된 시각 백본을 구조 변경 없이 바로 사용하면 세밀한 시공간 영상 표현에 한계가 있을 수 있다. TS2-Net은 토큰 시퀀스의 구성을 조정하는 방식으로 이를 다룬다.
시간 방향의 토큰 이동
전체 토큰 특징을 이웃 프레임 사이에서 앞뒤로 이동한다. 토큰 표현을 보존하면서 미세한 움직임을 포착하려는 설계다.
공간 의미에 따른 선택
이후 토큰 선택 모듈이 국소 공간 의미에 크게 기여하는 토큰을 고른다. 시간 이동과 공간 선택은 관련되지만 서로 다른 역할을 맡는다.
평가 범위
MSR-VTT, VATEX, LSMDC, ActivityNet, DiDeMo에서 영상 텍스트 검색을 평가했다. 토큰 이동과 선택의 개별 효과는 구성 요소를 나눈 실험으로 살펴볼 수 있다.
관련 문서
TeachCLIP / CLIP4Clip / CenterCLIP / X-CLIP 영상 검색 / X-Pool / VideoCLIP