후보 구간을 비교하는 검색
자연어 질의의 의미에 맞는 시간 구간을 편집되지 않은 영상에서 찾는다. MS-DETR는 후보 구간을 만들고 가장 잘 맞는 후보를 고르는 접근을 사용한다.
구간 사이의 상호작용
후보와 질의의 관계만 모델링하지 않고 후보 구간들 사이의 관계도 다룬다. 서로 겹치거나 인접한 구간들의 정보를 활용하는 방향이다.
템플릿으로 일부 구간 선택하기
DETR 틀에서 학습 가능한 템플릿이 안내하는 일부 구간을 샘플링한다. 이를 통해 구간 간 관계를 효율적으로 모델링하려 한다.
인코더와 디코더
다중 규모의 시각 언어 인코더와 템플릿에 연결된 앵커 유도 디코더를 설계했다. 세 공개 데이터셋에서 평가했으며 구간 샘플링과 최종 경계의 정확도는 구분해 확인할 수 있다.
관련 문서
MomentDiff / EaTR / QD-DETR / CG-DETR / QVHighlights와 Moment-DETR / 트랜스포머