전사문에서 단계 설명으로
음성 인식 시스템을 개선해 전사 오류를 줄이고, 언어 모델로 잡음이 있는 전사문을 서술형 단계로 바꾼다. 원래 말한 문장을 그대로 단계의 정답으로 취급하는 것과는 다른 과정이다.
모든 문장을 쿼리로
트랜스포머가 텍스트들을 쿼리로 사용해 시각 특징에 반복적으로 주의를 적용한다. 생성된 단계 설명을 해당 영상 구간에 시간적으로 정렬한다.
여러 문장의 시점 찾기
긴 영상과 여러 설명문이 주어졌을 때 각 문장에 대응하는 타임스탬프를 동시에 결정하는 과제를 다룬다. 한 문장의 위치만 독립적으로 찾는 설정과 구분된다.
정제 자료의 평가
구성한 자료로 모델을 학습하고 HT-Step, HTM-Align, CrossTask에서 평가했다. 자동 생성 설명과 정렬 결과는 추정치이므로 모든 단계가 정확하다고 보장하지는 않는다.
관련 문서
HowTo100M / CrossTask / Ego4D Goal-Step / COIN 교육 영상 데이터셋 / Norton 영상 언어 대응 학습 / 트랜스포머