내용과 시점을 함께 표현하기
영상에 무엇이 등장하는지와 언제 등장하는지는 다른 정보다. TimeChat은 각 프레임의 시각 내용에 해당 타임스탬프를 연결하는 인코더를 사용한다.
길이가 달라지는 토큰열
슬라이딩 영상 Q-Former로 영상의 지속 시간에 따라 길이가 다른 영상 토큰열을 만든다. 서로 다른 길이의 영상을 수용하기 위한 구조다.
지시 조정
여섯 과제와 총 12만 5천 사례를 포함하는 지시 조정 자료를 구성했다. 시간 정보가 필요한 요청을 따르도록 모델을 추가 학습하는 데 사용한다.
평가 과제
밀집 캡셔닝과 시간 구간 그라운딩, 하이라이트 검출에서 평가했다. 설명문을 생성하는 품질과 실제 구간 경계를 찾는 정확도는 별도로 확인해야 한다.
관련 문서
HowToStep / HT-Step과 절차 단계 정렬 / Ego4D Goal-Step / LaViLa / Norton 영상 언어 대응 학습 / 다중모달 학습