문서 속 답에서 영상 구간으로
문서에서 질문에 답하는 텍스트 범위를 찾듯, 영상에서 질의와 의미가 맞는 시간 범위를 찾는다. 영상을 실제 텍스트로 변환한다기보다 구간 예측의 틀을 영상에 적용하는 접근이다.
질의 유도 하이라이팅
영상과 텍스트 질의응답의 차이를 다루기 위해 QGH 전략을 사용한다. 질의와 관련된 영역을 강조해 그 안에서 맞는 영상 구간을 찾도록 안내한다.
시작과 끝의 예측
미리 만든 후보 구간의 순위를 매기거나 경계를 직접 회귀하는 방식과 비교해, 구간 기반 질의응답 구조를 사용한다. 목표는 문장 설명이 아니라 영상 속 시간 범위다.
평가 범위
세 벤치마크에서 구간 기반 접근을 평가했다. 강조된 영역이 넓게 맞는 것과 정확한 시작 및 종료 시점을 찾는 것은 구별해 살펴봐야 한다.
관련 문서
2D-TAN / MS-DETR 구간 검색 / MomentDiff / TimeChat / Ego4D Goal-Step / 질의응답