어떤 의미를 맞출 것인가
텍스트와 영상의 의미는 여러 수준으로 구성된다. 어느 세밀도에서 어떤 요소들을 조합해 대응시킬지 불확실할 수 있다는 문제를 다룬다.
학습 가능한 토큰
인코더에 추가 학습 토큰을 넣어 여러 세밀도의 의미를 적응적으로 집계한다. 항상 같은 고정 단위의 대응만 사용하는 대신 더 유연한 상위 의미 표현을 구성하려 한다.
분포 사이의 비교
정제한 임베딩 공간에서 영상과 텍스트를 확률 분포로 표현한다. 그 분포에서 프로토타입을 샘플링해 대응을 평가하는 방식으로 검색을 수행한다.
평가 범위
MSR-VTT, VATEX, MSVD, DiDeMo에서 평가했다. 분포를 사용한다는 모델 구조와 실제 불확실성이 얼마나 잘 보정되는지는 구별해서 확인해야 한다.
관련 문서
CLIP4Clip / X-CLIP 영상 검색 / X-Pool / VideoCLIP / CG-DETR / 확률 분포