시각 사전 학습의 활용
시각 자료만으로 사전 학습한 ViT가 원래 매개변수의 미세 조정 없이 시청각 자료에 일반화할 수 있는지 다룬다. ViT의 각 층에 작은 수의 학습 가능한 매개변수를 추가하는 어댑터를 제시한다.
잠재 토큰으로 연결하기
작은 잠재 토큰 집합을 어텐션 병목으로 사용해 시각·음향 단서를 융합한다. 표준 교차 어텐션의 이차 비용을 피하려는 구성이다. 전체 연산이나 저장 비용이 모두 사라진다는 의미는 아니며 병목이 적용되는 융합 부분의 구조를 봐야 한다.
어떤 자원을 줄이는가
조정 가능한 매개변수를 줄이고 비용이 큰 오디오 사전 학습이나 외부 오디오 인코더에 의존하지 않는 접근을 평가한다. 학습 가능한 매개변수 수와 고정된 기반 모델을 포함한 전체 매개변수 수는 다른 수치다.
고정과 학습의 예
큰 변환기의 가중치를 유지하면서 작은 연결 모듈만 갱신하는 상황을 생각할 수 있다. 갱신할 값은 적어져도 입력이 기반 모델을 통과하는 계산은 여전히 필요하다. 매개변수 효율과 실제 처리 시간을 구분해 평가할 이유다.
관련 문서
AVSBench / MUSIC-AVQA / AVE 시청각 사건 위치 추정 / AVSegFormer / 자기 지도 학습 / ViT