보조 설명문 생성
영상은 시각 정보뿐 아니라 관련 텍스트로도 표현할 수 있다. Cap4Video는 사전 학습 모델의 지식을 활용한 제로샷 캡셔닝으로 영상의 보조 설명문을 생성한다.
학습 자료와 특징
영상 캡션 쌍으로 훈련 자료를 보강하고, 중간 단계에서는 영상과 캡션의 교차모달 특징 상호작용으로 영상 표현을 개선한다.
검색 점수의 결합
질의와 영상의 매칭 경로에 질의와 캡션의 매칭 경로를 추가한다. 시각 정보와 텍스트 표현이 검색에 서로 다른 단서를 제공하도록 하는 구성이다.
평가와 한계
MSR-VTT, VATEX, MSVD, DiDeMo에서 평가했다. 자동 설명문에 빠진 내용이나 잘못된 묘사가 있으면 그 정보도 검색에 영향을 줄 수 있으므로 영상 자체와의 대응을 함께 살펴야 한다.
관련 문서
CLIP4Clip / CLIP2Video / X-CLIP 영상 검색 / VideoCLIP / SwinBERT / Vid2Seq