전체 요약과 사건 경계
영상 전체를 대략 설명하는 것만으로 특정 사건의 시작과 끝을 찾을 수 있는 것은 아니다. VTimeLLM은 세밀한 영상 구간 이해와 시간 경계에 관한 추론을 목표로 한다.
특징 정렬 단계
첫 단계에서는 이미지와 텍스트의 쌍으로 특징을 정렬한다. 시각 정보와 언어 표현을 연결하는 학습을 시간 이해 단계의 기반으로 삼는다.
다중 사건 영상과 지시 조정
여러 사건이 담긴 영상으로 시간 경계에 대한 인식을 높인 뒤, 고품질 영상 지시 자료로 시간 이해와 요청에 대한 응답을 추가 조정한다.
과제별 결과
시간 영상 그라운딩과 밀집 영상 캡셔닝, 영상 대화에서 평가했다. 유창한 대답과 정확한 시간 경계는 다른 성능이므로 사건의 실제 구간과 생성 설명을 각각 살펴야 한다.
관련 문서
TimeChat / Vid2Seq / HowToStep / HT-Step과 절차 단계 정렬 / Ego4D Goal-Step / 미세 조정