상호작용을 나누어 보기
영상과 텍스트의 대응 계산에서 어떤 세밀도의 내용을 비교하는지와 같은 의미를 구분하는 매칭 함수의 역할을 나누어 분석한다. 단일 벡터 표현의 한계를 다루는 출발점이다.
가중 토큰 상호작용
WTI 모듈이 텍스트와 영상의 순차 구조를 고려해 내용을 분리하고 요소 사이의 대응을 적응적으로 활용한다. 전체를 하나의 벡터로만 비교하는 대신 세부 토큰 관계를 반영한다.
채널 비상관 정규화
CDCR은 비교 벡터의 구성 요소 사이의 중복을 줄인다. 토큰 수준 대응과 다른 축에서 표현을 정규화해 계층적인 학습을 돕는다.
평가 범위
MSR-VTT, MSVD, VATEX, LSMDC, ActivityNet, DiDeMo에서 평가했다. 표현을 분리한다는 구조적 목적과 해석 가능한 독립 요인이 실제로 얻어졌는지는 구별해야 한다.
관련 문서
CLIP4Clip / X-CLIP 영상 검색 / HBI 영상 언어 상호작용 / UATVR / VideoCLIP / 표현 학습