질의에 따른 하이라이트
같은 영상이라도 찾는 내용이 달라지면 관련 구간과 중요한 클립이 달라질 수 있다. QVHighlights는 자유롭게 작성한 자연어 질의에 따라 구간과 하이라이트를 주석한다.
구간과 현저성의 구분
어느 시간 구간이 질의와 관련되는지와 그 안의 클립이 얼마나 두드러지는지를 구분한다. 관련 클립에는 다섯 단계의 현저성 점수가 제공된다.
집합으로 직접 예측하기
Moment-DETR는 트랜스포머 인코더와 디코더로 구간 검색을 직접 집합 예측 문제로 다룬다. 추출한 영상 표현과 질의 표현을 받아 구간 좌표와 현저성 점수를 함께 출력한다.
사전 학습 조건
음성 인식 캡션으로 약지도 사전 학습하는 조건도 평가했다. 영상 구간 검색 성능과 하이라이트 순위, 사전 학습의 유무는 각각 나누어 비교해야 한다.
관련 문서
MomentDiff / TimeChat / VTimeLLM / Vid2Seq / HowToStep / 트랜스포머