시간적으로 겹치는 대응
영상과 텍스트가 시간적으로 겹치는 쌍을 서로 연결해 학습한다. 완벽하게 같은 시작과 끝을 가진 설명문만 요구하는 것과는 다른 감독 방식이다.
어려운 비교 쌍
최근접 이웃 검색으로 구분하기 어려운 비교 쌍을 얻는다. 손쉬운 무관한 예제만 비교하는 대신 비슷한 입력의 차이를 학습하는 데 활용한다.
후속 라벨 없이 전이하기
후속 과제의 정답 라벨을 사용하지 않고 이해 과제를 수행하는 제로샷 설정을 목표로 한다. 사전 학습 자체에 영상 텍스트 대응이 필요 없다는 뜻은 아니다.
평가 과제
텍스트 영상 검색과 영상 질의응답, 토큰 수준 행동 위치 검출, 행동 분할에서 평가했다. 전체 영상의 일치와 프레임 또는 구간의 대응은 서로 다른 수준의 결과다.
관련 문서
Frozen in Time 영상 검색 / HowTo100M / EgoVLP / Bridge-Prompt / VIOLET / 대조 학습