질의가 바뀌면 표현도 바꾸기
영상 자체에서 눈에 띄는 구간과 특정 질의에 답하는 구간은 다를 수 있다. QD-DETR는 질의 정보를 영상 표현에 충분히 반영하지 못하는 문제에 초점을 맞춘다.
초기의 교차 주의
인코딩 모듈을 교차 주의 층으로 시작해 텍스트 질의 문맥을 영상 표현에 명시적으로 넣는다. 구간 위치와 중요도를 구할 때 질문의 내용을 활용하도록 하는 구조다.
관련 없는 쌍으로 학습하기
영상과 질의의 짝을 바꿔 무관한 쌍을 만들고 낮은 현저성 점수가 나오도록 훈련한다. 영상이 흥미롭다는 이유만으로 모든 질의에 높은 점수를 주지 않도록 한다.
입력 적응형 점수
영상 질의 쌍에 따라 현저성의 기준을 조절하는 예측기를 사용한다. QVHighlights, TVSum, Charades-STA에서 구간 검색과 하이라이트 검출을 평가했다.
관련 문서
QVHighlights와 Moment-DETR / CG-DETR / MomentDiff / TimeChat / VTimeLLM / 교차 주의