짧은 영상 안의 더 짧은 단서
영상 전체의 의미가 질의와 약하게 맞아도 일부 프레임은 중요한 단서를 담을 수 있다. CLIPRerank는 전체 영상 유사도만으로 놓칠 수 있는 이런 일치를 추가 점수로 반영한다.
프레임 점수 계산
사전 학습된 CLIP으로 질의와 영상 프레임의 유사도를 계산한다. 여러 프레임의 점수를 최댓값 풀링으로 모아 세밀한 검색 점수를 만든다.
초기 검색과 결합
새 점수를 초기 점수에 가중 합산해 순위를 다시 정한다. 원래 영상 검색 모델의 내부 구조를 교체하는 방법이 아니라 결과를 보완하는 단계다.
검증 범위
2016년부터 2021년까지의 TRECVID AVS 벤치마크에서 여러 검색 모델에 적용했다. CLIP 대신 BLIP-2를 사용하는 경우도 살펴봤으며 재정렬의 비용과 순위 변화를 함께 확인해야 한다.
관련 문서
CLIP4Clip / CLIP2Video / TS2-Net / X-CLIP 영상 검색 / X-Pool / 재순위화