두 축의 시간 지도
가로와 세로를 서로 다른 공간 좌표가 아니라 시간 구간의 시작과 끝으로 사용한다. 지도 위의 각 위치가 하나의 후보 시간 구간에 대응하는 표현이다.
다양한 길이의 구간
시작점과 끝점의 조합으로 짧은 구간과 긴 구간을 같은 지도에 담는다. 구간을 각각 독립된 후보로만 보는 대신 인접 관계도 표현한다.
시간 이웃의 관계
시간 지도에 기반한 네트워크가 인접 구간의 관계를 인코딩하고, 질의 문장과 구간을 맞추는 판별적 특징을 학습한다. 목표 구간을 이해하는 데 주변 시간 관계를 활용하는 방식이다.
평가와 비교
Charades-STA, ActivityNet Captions, TACoS에서 평가했다. 후보 표현의 해상도와 최종 경계 정확도는 관련되지만 같은 지표는 아니므로 별도로 확인해야 한다.
관련 문서
MS-DETR 구간 검색 / MomentDiff / EaTR / QVHighlights와 Moment-DETR / QD-DETR / 트랜스포머