세 부분 구조의 통합
영상 인코더와 텍스트 인코더, 융합 트랜스포머를 따로 두는 대신 통합된 백본으로 원본 신호의 공동 표현을 학습한다. 여러 무거운 모듈을 연결하는 방식과 다른 구성이다.
영상의 시간 정보
모달리티에 관계없이 같은 구조를 사용하려면 영상 고유의 시간 정보를 처리해야 한다. 제안된 토큰 롤링은 추가 매개변수 없이 시간 표현을 인코딩하는 연산이다.
한 모달리티만 있는 입력
영상 텍스트가 함께 있는 입력뿐 아니라 단일모달 입력도 통합된 백본으로 표현할 수 있다. 입력 형태를 함께 다루는 것과 모든 과제의 출력 형식이 같다는 것은 다르다.
후속 과제
사전 학습 뒤 미세 조정해 영상 텍스트 검색과 영상 질의응답 등으로 전이했다. 통합 구조의 효율은 비교 모델과 입력 길이, 과제별 실험 조건을 함께 고려해 해석해야 한다.
관련 문서
UniVL 영상 언어 모델 / LAVENDER 영상 언어 모델 / VIOLET / ClipBERT / HERO 영상 언어 모델 / 트랜스포머