문장은 영상 일부를 설명한다
영상은 여러 내용을 담을 수 있지만 한 문장은 그중 일부만 설명하는 경우가 많다. 텍스트와 무관하게 모든 프레임을 합치면 질의에 없는 내용이 검색 표현에 섞일 수 있다.
텍스트와 프레임의 주의
스케일 점곱 주의로 텍스트와 의미가 가까운 영상 프레임에 집중한다. 질의 문장이 어떤 시각 단서를 필요로 하는지 집계 과정에 반영한다.
조건부 영상 표현
텍스트가 프레임에 부여한 주의 가중치로 영상 표현을 집계한다. 같은 영상이라도 비교하는 텍스트가 달라지면 강조하는 프레임이 달라질 수 있다.
평가 범위
MSR-VTT, MSVD, LSMDC에서 텍스트 영상 검색을 평가했다. 질의에 맞는 프레임에 집중하는 것과 정확한 시작 및 끝 시간을 반환하는 것은 같은 출력 과제가 아니다.
관련 문서
CLIP4Clip / X-CLIP 영상 검색 / QD-DETR / CG-DETR / VideoCLIP / 교차 주의