두 종류의 학습 신호
가린 영상 정보를 복원하는 과제와 영상에 맞는 언어를 구분하는 과제는 서로 다른 단서를 제공한다. InternVideo는 둘 중 하나만 사용하는 대신 두 방식의 표현을 함께 활용한다.
상보적인 표현의 조율
두 프레임워크의 영상 표현을 선택적으로 조율하는 학습 가능한 방법을 사용한다. 손실 이름을 나열하는 데 그치지 않고 후속 응용에서 서로 보완하도록 표현을 연결하는 것이 핵심이다.
다양한 영상 과제
보고서는 행동 인식과 탐지, 영상 언어 정렬 및 개방 환경 영상 응용을 포함한 39개 영상 데이터셋을 평가했다. 분류의 정확도와 탐지의 시간적 위치 정확성은 서로 다른 성질이다.
평가 수치를 읽을 때
여러 과제로의 전이는 범용성을 살피는 근거지만 모든 현실 영상의 이해를 입증하지는 않는다. 사전 학습 자료와 평가 설정을 함께 확인하고, 다른 세대의 InternVideo 모델과 이 보고서의 구성을 구별해야 한다.