각 입력에서 표현을 얻기
영상과 오디오, 언어는 데이터의 형태가 다르지만 같은 사건의 정보를 담을 수 있다. VATT는 원시 신호를 입력받아 여러 후속 과제에 전이할 표현을 종단 간 학습한다.
대조 학습의 역할
사람이 부여한 분류 정답으로 사전 학습하는 대신 모달리티 간 대응을 대조 손실로 학습한다. 표현의 대응을 배우는 목표와 최종 행동 분류의 목표를 구분할 필요가 있다.
백본을 공유하는 실험
세 모달리티에서 하나의 트랜스포머 백본 가중치를 공유하는 구성도 살펴봤다. 모달리티 공통 구조의 가능성을 조사한 실험이며 입력 신호 자체가 같아진다는 의미는 아니다.
어디에 전이했는가
행동 인식과 오디오 사건 분류, 이미지 분류, 텍스트 영상 검색을 평가했다. 영상으로 얻은 표현의 이미지 분류 전이도 확인했지만 모든 데이터와 과제에서 같은 이득이 보장되는 것은 아니다.
관련 문서
AVLnet / VideoCLIP / MIL-NCE 영상 표현 학습 / AST / 다중모달 학습 / 트랜스포머