가려진 스펙트로그램 패치
스펙트로그램을 패치로 나누고 위치 정보를 더한 뒤 일부를 무작위로 가린다. 가려진 위치에는 학습 가능한 마스크 토큰을 넣고 Mamba 인코더에 입력한다.
복원으로 배우는 표현
작은 MLP 복원망이 인코더 표현에서 원래 패치를 예측한다. 원래 패치와 복원 결과의 평균제곱오차로 사전학습하고 후속 평가에서는 마스킹과 복원망을 제외해 표현을 활용한다.
범용 오디오 인식 평가
연구는 AudioSet에서 사전학습한 모형을 열 가지 오디오 인식 과제로 평가했다. 비교 가능한 자기지도 스펙트로그램 트랜스포머와 자료량 및 시퀀스 길이와 모형 규모의 영향을 조사했다.
관련 문서
Audio Mamba 오디오 태깅 / MambaMixer / VMamba / Vision Mamba / EfficientViM / TokenLearner