시간 정보의 보존
소수의 프레임을 독립적으로 처리해 평균내거나 이어 붙이면 시간 정보가 약해질 수 있다. VIOLET은 영상 트랜스포머로 입력의 시간적 변화를 표현한다.
이산 시각 토큰
원래 영상의 프레임 패치를 이산 시각 토큰으로 바꾼다. 이 토큰이 가린 영상 패치에서 무엇을 복원해야 하는지에 대한 학습 목표가 된다.
가린 토큰 복원
MVM은 가려진 패치를 바탕으로 원래 시각 토큰을 예측하도록 한다. 단순한 영상 특징 고정 방식과 달리 영상 인코더까지 학습 신호가 이어지는 구조다.
평가 범위
다섯 영상 질의응답 과제와 네 텍스트 영상 검색 과제에서 평가했다. 마스킹 과제의 성능과 후속 영상 언어 과제의 성능은 구별해 살펴야 한다.
관련 문서
ClipBERT / SwinBERT / HERO 영상 언어 모델 / Vid2Seq / VideoMAE / 다중모달 학습