다른 강조점을 가진 과제
구간 검색은 질의에 맞는 특정 구간의 관계를 찾는 데 초점을 두고, 하이라이트 검출은 전체 문맥에서 중요도를 판단한다. UVCOM은 두 과제의 차이를 반영하면서 함께 해결하려 한다.
점진적인 정보 통합
여러 세밀도에서 모달리티 내부와 서로 다른 모달리티 사이의 정보를 차례로 통합한다. 한 수준의 특징만으로 국소 관계와 전체 문맥을 모두 처리하지 않도록 하는 구성이다.
다각도 대조 학습
정렬된 다중모달 공간에서 국소 관계 모델링과 전역 지식 축적을 강화하는 대조 학습을 사용한다. 표현을 연결하는 학습과 최종 구간 예측의 역할은 구별된다.
평가 자료
QVHighlights, Charades-STA, TACoS, YouTube Highlights, TVSum에서 평가했다. 구간 검출과 하이라이트의 지표가 다르므로 과제별 결과를 함께 확인해야 한다.
관련 문서
TR-DETR / CG-DETR / QD-DETR / QVHighlights와 Moment-DETR / 대조 학습 / 다중모달 학습