두 출력만 붙이는 것과의 차이
구간 검색은 관련 시간 구간을 찾고 하이라이트 검출은 클립별 중요도를 구한다. TR-DETR는 공통 특징 뒤에 각각의 출력부만 두는 대신 두 과제의 상호 보완성을 활용하려 한다.
공유 공간의 특징 정렬
국소 및 전역 정렬 모듈로 서로 다른 모달리티의 특징을 공유 잠재 공간에 맞춘다. 다른 종류의 입력이 관계를 학습할 수 있도록 표현을 연결하는 단계다.
질의와 무관한 정보 줄이기
시각 특징 정제 모듈은 모달리티 상호작용 전에 질의와 관련 없는 정보를 줄이도록 설계됐다. 영상에서 강하게 드러나는 정보가 항상 질문에 유용한 것은 아니기 때문이다.
과제 사이의 협력
과제 협력 모듈이 구간 검색과 하이라이트 점수 예측을 상호 관계로 정제한다. QVHighlights, Charades-STA, TVSum에서 평가했다.
관련 문서
QD-DETR / CG-DETR / QVHighlights와 Moment-DETR / MomentDiff / EgoT2 / 다중 과제 학습