내레이션을 학습 단서로
대규모 영상 클립에 수작업 설명문을 붙이는 데는 비용이 든다. HowTo100M은 영상에 이미 있는 내레이션을 자동 전사해 영상과 텍스트를 연결하는 신호로 활용한다.
영상과 클립의 구분
논문은 약 122만 교육 영상에서 약 1억 3600만 클립을 구성했다고 보고했다. 클립 수는 서로 다른 원본 영상의 수가 아니며, 영상이 다루는 시각 작업은 2만 3천 종류 이상이다.
공동 임베딩의 활용
이 자료로 학습한 텍스트 영상 임베딩을 텍스트 기반 영상 검색과 행동 위치 검출에 사용했다. YouCook2와 CrossTask 같은 교육 영상 자료에서 효과를 평가했다.
다른 영역으로의 전이
일반 영상과 영화 자료로 미세 조정하는 전이 실험도 수행했다. 자동 전사문은 사람이 검증한 구간 설명과 다르므로 음성과 시각 내용의 일치 여부를 따로 고려해야 한다.
관련 문서
CrossTask / COIN 교육 영상 데이터셋 / HowToStep / LaViLa / Norton 영상 언어 대응 학습 / 임베딩