두 수준의 문맥
프레임의 국소 문맥은 교차모달 트랜스포머의 융합으로 포착하고, 전체 영상의 문맥은 시간 트랜스포머로 처리한다. 서로 다른 범위의 관계를 계층으로 나눈 구조다.
가린 정보의 복원
가린 언어와 가린 프레임을 모델링하는 사전 학습 목표를 사용한다. 텍스트와 영상 단서를 연결하는 표현을 배우는 기본 과제다.
정렬과 순서 학습
영상 자막 매칭은 전역 및 국소 시간 정렬을 예측한다. 프레임 순서 모델링은 섞인 프레임을 올바른 순서로 맞추도록 해 시간 구조의 학습을 보완한다.
자료와 평가
HowTo100M과 대규모 TV 자료를 공동 학습하고 검색, 질의응답, 영상 언어 추론, 캡셔닝에서 평가했다. 함께 도입한 How2QA와 How2R은 같은 연구의 질의응답 및 검색 벤치마크다.
관련 문서
ClipBERT / HowTo100M / SwinBERT / EgoVLP / Vid2Seq / 다중모달 학습