구간을 잡음에서 복원하기
학습할 때 실제 시간 구간에 잡음을 더하고 이를 원래 구간으로 되돌리는 과정을 배운다. 텍스트와 영상의 유사도가 어느 구간을 찾아야 하는지 안내하는 단서가 된다.
반복적 경계 정제
학습 후에는 임의의 시간 구간을 초기 추정으로 샘플링하고 여러 차례 정제해 경계를 생성한다. 학습 가능한 고정 후보나 쿼리만으로 구간을 분류하는 방식과 다른 접근이다.
시간 위치 편향
자료에서 정답 구간이 특정 위치에 몰리면 모델이 그 경향에 의존할 수 있다. MomentDiff는 무작위 초기 구간에서 시작하는 방식으로 이러한 편향의 영향을 줄이려 한다.
분포 이동의 평가
위치 분포를 바꾼 Charades-STA-Len과 Charades-STA-Mom을 제안해 편향 영향을 살펴봤다. 일반 벤치마크 결과와 분포가 달라진 자료의 결과는 구별해서 확인해야 한다.
관련 문서
QVHighlights와 Moment-DETR / VTimeLLM / TimeChat / Vid2Seq / 확산 모델 / 분포 이동