스펙트로그램의 패치 구성
스펙트로그램의 두 축은 시간과 주파수로 역할이 다르다. 연구는 창과 패치의 두 단계 추출을 활용해 같은 시간의 서로 다른 주파수 특징이 가까이 배치되도록 한다.
계층적 상태 공간 백본
HT-SAT의 처리 체계를 사용하면서 트랜스포머를 VMamba 계열 상태 공간 블록으로 바꾼다. 단계별 패치 병합과 특징 추출로 여러 규모의 오디오 정보를 처리한다.
태깅 성능과 매개변수 수
두 오디오 태깅 자료에서 스펙트로그램 트랜스포머와 비교했다. 연구는 긴 오디오 관계를 처리하면서 적은 매개변수로 범주 예측을 수행하는 가능성을 평가했다.
관련 문서
Audio Mamba 자기지도 표현 / VMamba / MambaMixer / Vision Mamba / MambaVision / EfficientViM