단계 설명과 영상 구간
절차 설명에 적힌 단계가 영상의 언제 수행되는지 찾는 과제를 다룬다. HT-Step의 평가 주석은 HowTo100M 중 124시간의 부분집합에 수작업으로 구성됐다.
직접 경로와 간접 경로
단계 설명을 프레임에 직접 대응시키는 경로와, 단계에서 내레이션을 거쳐 영상으로 이어지는 간접 경로를 결합한다. 시각 단서와 말로 제공되는 단서의 역할을 함께 활용한다.
순서를 활용한 전체 정렬
단계 순서를 이용해 모든 단계를 한 번에 시간적으로 정렬한다. 학습에는 반복적으로 정제하고 적극적으로 걸러낸 단계 의사 라벨을 사용한다.
훈련과 평가 주석의 차이
방법은 수작업 감독 없이 학습하도록 제안됐지만 평가 벤치마크에는 사람의 주석이 있다. HT-Step과 CrossTask, HTM-Align의 실험을 해석할 때 학습 신호와 평가 정답을 구분해야 한다.
관련 문서
HowTo100M / HowToStep / CrossTask / Ego4D Goal-Step / Norton 영상 언어 대응 학습 / 약지도 학습