주석 형식의 차이
구간 검색의 시간 범위와 하이라이트의 중요도 곡선은 서로 다른 주석이다. 과제마다 별도 모델만 학습하면 이런 정보를 함께 활용하기 어려울 수 있다.
통합된 정식화
여러 시간 그라운딩 라벨과 과제를 공통 형식으로 정의하고, 규모를 늘릴 수 있는 의사 감독 생성 방식도 구성한다. 서로 다른 라벨이 하나의 학습 틀에 들어가도록 하는 단계다.
유연한 그라운딩 모델
각 과제를 다루면서 제공된 라벨을 활용할 수 있는 모델을 제안했다. 다양한 주석의 대규모 사전 학습으로 제로샷 그라운딩 같은 전이 능력도 살펴본다.
세 과제의 평가
구간 검색과 하이라이트 검출, 영상 요약을 QVHighlights와 Ego4D 등을 포함한 일곱 데이터셋에서 평가했다. 통합된 구조여도 각 과제의 정답과 평가 기준은 다르다.
관련 문서
UVCOM / TR-DETR / QVHighlights와 Moment-DETR / MomentDiff / Ego4D / TimeChat