입력에 따라 달라지는 쿼리
영상과 무관한 고정 구간 쿼리는 영상 고유의 시간 구조와 위치 정보를 충분히 반영하지 못할 수 있다. EaTR는 입력별 내용과 위치를 고려하는 동적 쿼리를 사용한다.
사건 단위 찾기
슬롯 주의로 영상을 구성하는 구별되는 사건 단위를 포착한다. 영상 전체를 균일한 시간 격자로만 보는 대신 사건 구조를 추론하려는 단계다.
문장과의 게이트 융합
구간 추론에서는 게이트 융합 트랜스포머 층으로 구간 쿼리와 주어진 문장을 결합한다. 같은 영상의 사건들도 어떤 문장을 찾는지에 따라 다르게 해석할 수 있다.
시간 경계 예측
구간 쿼리와 영상 문장 표현 사이의 상호작용을 학습해 구간 타임스탬프를 예측한다. 사건 단위를 찾는 단계와 문장에 맞는 구간을 결정하는 단계는 역할이 다르다.
관련 문서
QVHighlights와 Moment-DETR / QD-DETR / CG-DETR / TR-DETR / MomentDiff / 슬롯 주의