무관한 클립의 문제
질의와 관련 없는 영상 클립까지 똑같이 텍스트로 표현하면 잘못된 대응이 생길 수 있다. CG-DETR는 클립마다 질의가 얼마나 관여하는지 구분하려 한다.
더미 토큰의 역할
텍스트 질의에 조건화한 더미 토큰이 주의 가중치의 일부를 맡는다. 이를 통해 관련 없는 클립이 질의 텍스트에 과도하게 의존하는 것을 줄이도록 설계했다.
단어별 상관관계
질의 속 모든 단어가 각 클립과 같은 관련성을 갖는 것은 아니다. 구간과 문장 수준의 공동 임베딩을 학습해 더 세밀한 클립 단어 상관관계를 추론하고 주의를 안내한다.
구간 적응형 현저성
구간 고유 특성과 영상 문맥을 결합해 클립의 하이라이트 정도를 추정한다. 질의 의존성 보정과 현저성 추정을 함께 다루는 구조다.
관련 문서
QD-DETR / QVHighlights와 Moment-DETR / MomentDiff / Norton 영상 언어 대응 학습 / 교차 주의 / 임베딩