존재한다는 가정의 문제
일반적인 구간 검색 설정은 질의가 설명한 사건이 영상에 있다고 가정한다. 이 조건에서만 학습하거나 평가하면 무관한 질문에도 그럴듯한 구간을 잘못 반환할 수 있다.
거절도 평가하기
NA-VMR은 정답 구간을 찾는 정확도와 정답 없는 질의를 거절하는 정확도를 함께 고려한다. 여기서 거절은 요청을 처리하지 않는 정책이 아니라 해당 영상에 맞는 구간이 없다는 판정이다.
서로 다른 무관한 질의
영상 자료와 같은 영역에 속하지만 정답이 없는 질의와, 다른 영역의 질의를 구분한다. QVHighlights와 Charades-STA에 새로운 평가 구성을 제공해 이 차이를 살펴본다.
검색과 거절의 균형
UniVTG를 이 과제에 맞춘 UniVTG-NA를 제안했다. 모든 질의를 거절하면 거절 수치만 높일 수 있으므로, 실제 정답이 있는 질의의 검색 성능이 유지되는지도 함께 확인해야 한다.
관련 문서
UniVTG / QVHighlights와 Moment-DETR / MomentDiff / QD-DETR / CG-DETR / VTimeLLM