짧은 문장과 풍부한 영상
한 문장은 영상에 담긴 모든 의미와 시각 변이를 설명하기 어렵다. T-MASS는 단일 텍스트 임베딩의 표현 범위를 넓혀 이러한 차이를 다루려 한다.
확률적인 의미 범위
텍스트를 확률적 임베딩으로 모델링해 유연한 의미 범위를 가진 text mass를 만든다. 같은 영상에 대응할 수 있는 표현의 변이를 허용하는 관점이다.
반경과 정규화
주어진 텍스트 영상 쌍의 유사도를 고려해 범위의 크기를 조절하는 반경 모듈을 사용한다. 학습 중에는 보조 텍스트 정규화로 이 범위를 추가 제어한다.
검색 평가
추론 과정도 확률적 텍스트 표현을 활용하도록 구성했다. MSR-VTT, LSMDC, DiDeMo, VATEX, Charades에서 평가했으며 의미 범위를 넓히는 것과 무관한 영상을 배제하는 성능을 함께 살펴야 한다.
관련 문서
UATVR / CLIP4Clip / X-Pool / HBI 영상 언어 상호작용 / VideoCLIP / 임베딩