말과 화면의 시차
내레이션은 지금 보이는 동작보다 먼저 설명하거나 뒤늦게 설명할 수 있다. 영상 클립과 같은 시각의 문장이 반드시 정확히 대응한다고 가정하면 학습 신호가 어긋날 수 있다.
여러 양성 후보
MIL-NCE는 유효할 수 있는 영상 내레이션 대응 후보 집합을 다룬다. 하나의 짝을 무조건 정답으로 고정하는 대신 후보들의 점수를 함께 활용하는 목표를 사용한다.
종단 간 표현 학습
HowTo100M 같은 내레이션 영상에서 수작업 감독 없이 시각 표현을 처음부터 학습하도록 제안됐다. 사용되는 내레이션과 후보 구성은 여전히 학습의 단서다.
네 종류의 후속 과제
여덟 데이터셋에서 행동 인식과 텍스트 영상 검색, 행동 위치 검출, 행동 분할을 평가했다. 사전 학습의 주석 조건과 후속 과제를 평가하는 정답 주석은 구별해야 한다.
관련 문서
HowTo100M / VideoCLIP / Norton 영상 언어 대응 학습 / CrossTask / COIN 교육 영상 데이터셋 / 대조 학습