모든 문장이 화면을 설명하지 않는다
내레이션에는 화면에 없는 내용이 포함될 수 있고, 실제 동작보다 앞이나 뒤에서 설명할 수도 있다. TAN은 정렬할 수 없는 문장과 정렬 가능한 문장을 구분하는 문제부터 다룬다.
가능 여부와 시간 대응
긴 영상과 관련 문장들을 입력받아 정렬 가능성을 판단하고, 가능한 경우 대응하는 시점을 찾는다. 문장마다 반드시 정답 구간이 있다고 가정하는 설정과 다르다.
잡음 속 공동 학습
수작업 주석 없이 원본 교육 영상의 잡음을 줄이며 학습하는 공동 훈련 방법을 제안했다. 자동으로 정렬한 주석을 백본의 종단 간 미세 조정에도 활용한다.
평가와 전이
HowTo100M의 80개 영상 약 10시간을 정렬 평가용으로 주석했다. 검색과 행동 분할, 행동 인식으로 전이를 살펴봤으며 학습의 무주석 조건과 평가의 사람 주석은 구별해야 한다.
관련 문서
HowTo100M / MIL-NCE 영상 표현 학습 / Norton 영상 언어 대응 학습 / HT-Step과 절차 단계 정렬 / HowToStep / 정답 없는 질의를 고려한 영상 구간 검색