서로 다른 내용을 맞추기
영상과 텍스트는 같은 사건을 표현해도 구조와 담긴 정보가 다르다. 이 연구는 CLIP 기반 영상 검색에서 이러한 차이에 대응하는 표현과 손실을 함께 제안했다.
여러 관점의 전문가
CAMoE는 단일 게이트의 전문가 혼합으로 행동과 개체, 장면 등 여러 관점의 영상 표현을 추출한다. 각 표현을 텍스트의 해당 부분과 정렬한다.
양방향 일치의 보정
DSL은 한 방향에서만 최적인 대응에 치우치는 문제를 다룬다. 배치 안의 각 쌍이 가진 사전 정보를 고려해 유사도 행렬을 보정하고 양방향 일치를 추구한다.
구성별 평가
MSR-VTT, MSVD, LSMDC 등에서 CAMoE와 DSL을 각각 또는 함께 평가했다. 표현 모델의 변화와 점수 보정의 효과를 나누어 비교할 수 있다.
관련 문서
CLIP4Clip / CLIP2Video / CLIPRerank / UATVR / X-CLIP 영상 검색 / 전문가 혼합 모델