서로 다른 세밀도의 대응
영상 전체와 문장 전체의 관계뿐 아니라 프레임과 단어의 관계도 사용한다. 전체 표현과 각각의 세부 표현을 비교하는 교차 세밀도 대조도 결합한다.
전체 표현이 안내하는 비교
거친 수준 특징으로 세부 특징과의 관련성을 계산한다. 검색 유사도를 구할 때 불필요한 세부 특징을 줄이려는 역할이다.
유사도 행렬의 주의
세부 및 교차 세밀도의 유사도 행렬을 최종 인스턴스 점수로 모으는 데 AOSM을 사용한다. 핵심 프레임과 단어 사이의 대조에 집중하도록 하는 모듈이다.
이름과 평가
이 문서는 2022년 다중 세밀도 영상 검색 연구의 X-CLIP을 다룬다. MSR-VTT, MSVD, LSMDC, DiDeMo, ActivityNet에서 평가했으며 같은 이름의 다른 영상 모델과 구별해야 한다.
관련 문서
CLIP4Clip / VideoCLIP / Frozen in Time 영상 검색 / CG-DETR / Norton 영상 언어 대응 학습 / 대조 학습