입도의 차이 줄이기
클립 전체를 하나로 요약한 오디오 표현은 프레임별 변화와 세밀하게 대응하기 어렵다. 오디오를 시간 순서가 있는 시퀀스로 다뤄 영상 프레임과의 대응 해상도를 맞추려 한다.
목표별 토큰 구분
대조 목표와 복원 목표가 같은 표현에 서로 다른 요구를 할 수 있다. 각각을 전용 전역 토큰으로 분리해 최적화 목표의 충돌을 다루는 구성을 제안한다.
레지스터 토큰
학습 가능한 레지스터 토큰으로 패치 토큰에 실리는 의미 부담을 줄이려 한다. 이를 통해 공간 위치를 찾는 과제의 표현을 개선하는 접근이다.
시간과 공간 평가
연구는 검색, 분류, 위치 찾기를 평가한다. 가상의 움직이는 음원에서 어느 프레임이 관련 있는지와 화면의 어디가 관련 있는지는 다른 문제이므로 시간 정렬과 공간 위치를 따로 확인해야 한다.
관련 문서
CAV-MAE / 시청각 마스크드 오토인코더 / Audio-MAE / AudioSet / VGGSound / HTS-AT