사전 추출 특징과의 차이
다른 영상 이해 과제로 학습한 특징을 미리 추출해 사용하는 대신 원본 프레임 패치를 직접 처리한다. 설명 생성에 맞게 시각 표현도 함께 적응시키는 구조다.
시공간 표현
영상 트랜스포머로 공간과 시간 표현을 인코딩한다. 서로 다른 입력 영상 길이를 다루기 위해 프레임률마다 전용 설계를 따로 두지 않는 방향을 제시했다.
조밀한 프레임과 중복
이 구조에서는 더 조밀한 프레임 샘플링이 캡셔닝에 도움이 되는 결과를 확인했다. 동시에 연속 프레임의 중복을 줄이기 위해 희소 주의 마스크를 적응적으로 학습한다.
평가와 전이
다섯 영상 캡셔닝 자료에서 평가하고 학습한 주의 마스크의 영상 길이 및 데이터셋 간 전이도 살펴봤다. 설명의 품질과 특정 사건의 정확한 시간 위치 검출은 서로 다른 과제다.
관련 문서
Vid2Seq / TimeChat / VTimeLLM / DIBS 영상 캡셔닝 / LTContext / 희소 주의