계층 구조의 목적
오디오 트랜스포머의 큰 메모리 사용량과 긴 학습 시간을 줄이기 위해 계층 구조를 도입한다. 모델의 효율성과 음향 분류 성능을 함께 다루려는 설계다.
클래스별 특징 맵
토큰 의미 모듈이 최종 출력을 클래스 특징 맵으로 연결한다. 이를 이용해 오디오 안에 어떤 사건이 있는지뿐 아니라 그 사건의 시간 위치를 찾는 작업도 수행한다.
분류와 검출 평가
AudioSet과 ESC-50, Speech Commands V2에서 분류를 평가하고 시간 위치 검출도 비교한다. 클립 단위 분류와 사건 위치의 정확도를 서로 다른 평가 항목으로 살핀다.
짧은 사건의 확인
가상의 긴 녹음에 짧은 경적이 한 번 들어 있을 때 종류만 맞히면 분류는 성공할 수 있다. 검출에서는 시작과 끝을 얼마나 정확히 찾았는지도 중요하므로 두 결과를 구분해야 한다.
관련 문서
AST 오디오 분류 / PANNs / AudioSet / BEATs / HEAR 오디오 표현 평가 / VGGSound