시점과 문장을 함께 생성하기
한 영상의 여러 사건을 설명하려면 내용뿐 아니라 각 사건이 언제 일어나는지도 필요하다. Vid2Seq는 시간 토큰과 텍스트를 같은 시퀀스에서 예측하는 단일 단계 모델이다.
전사문을 의사 주석으로
음성 전사의 문장 경계를 의사 사건 경계로 바꾸고 문장 자체를 의사 캡션으로 사용한다. 사람의 밀집 사건 주석이 없는 내레이션 영상도 사전 학습에 활용하기 위한 방법이다.
대규모 사전 학습
YT-Temporal-1B에서 학습한 뒤 밀집 영상 캡셔닝에 적용한다. 의사 경계는 실제 시각 사건 경계와 같다고 보장되지 않으므로 그 잡음도 고려해야 한다.
평가 범위
YouCook2, ViTT, ActivityNet Captions에서 평가하고 영상 문단 설명과 클립 설명, 적은 예제 조건의 전이도 살펴봤다. 사건 위치 검출과 설명문 품질은 구분해 확인할 수 있다.
관련 문서
TimeChat / HowTo100M / HowToStep / VTimeLLM / LaViLa / 다중모달 학습