비슷한 프레임의 토큰
연속한 영상 프레임은 비슷한 내용을 반복할 수 있고, 이를 토큰으로 만들면 유사한 토큰이 많이 생긴다. CenterCLIP은 이 중복이 만드는 계산 부담을 줄이려 한다.
구간별 군집화
중복이 주로 인접한 프레임에서 생긴다는 점을 고려해 영상을 여러 구간으로 나누고 구간 안에서 토큰을 군집화한다. 대표 토큰을 찾고 중요하지 않은 토큰을 제거한다.
중심 토큰의 재연결
각 구간의 중심 토큰을 하나의 새 시퀀스로 이어 붙인다. 줄어든 토큰들에도 원래 시공간 관계를 유지해 구간 내부의 프레임 상호작용을 활용한다.
효율과 정렬
계산 절감뿐 아니라 영상 텍스트의 구간 수준 의미 정렬도 다룬다. 메모리와 속도 개선 수치는 토큰 수와 실험 조건에 따라 달라지므로 검색 성능과 함께 비교해야 한다.
관련 문서
CLIP4Clip / X-Pool / X-CLIP 영상 검색 / SwinBERT / 군집화 / 토큰 병합