서로 다른 크기의 불일치
설명문이 다른 클립에 붙는 문제와 문장 속 단어가 특정 프레임에 맞지 않는 문제는 규모가 다르다. Norton은 두 불일치를 하나의 최적 수송 틀에서 다룬다.
관련 없는 쌍의 분리
정렬 가능한 프롬프트 버킷으로 관련 없는 클립과 설명문을 걸러내고, 수송 거리에 따라 시간적으로 어긋난 쌍을 재정렬한다. 모든 설명문을 현재 클립의 정답으로 간주하지 않는다.
주요 프레임과 단어
부드러운 최댓값 연산으로 중요한 단어와 핵심 프레임을 찾는다. 긴 영상과 문단의 관계, 클립과 설명문의 관계를 각각 대조 학습에 반영한다.
잘못된 음성 쌍
여기서 음성 쌍은 소리가 아니라 대조 학습에서 서로 다르다고 취급하는 쌍이다. 실제로 관련 있는 쌍이 잘못 배제될 가능성을 최적 수송 배정으로 보정한다.
관련 문서
최적 수송 / 대조 학습 / LaViLa / EgoVLP / ASOT 행동 분할 / 행동 인식