합성곱이 꼭 필요할까
오디오 분류에서는 합성곱으로 특징을 얻고 어텐션으로 긴 문맥을 더하는 조합이 사용돼 왔다. AST는 합성곱에 의존하지 않고 어텐션만으로 분류할 수 있는지 탐구한다.
소리의 긴 문맥
가까운 영역의 패턴뿐 아니라 떨어진 구간의 관계가 소리 종류를 구분하는 데 중요할 수 있다. 어텐션 기반 구조를 이용해 스펙트로그램에서 이런 문맥을 다루려는 접근이다.
평가 영역
AudioSet과 ESC-50, Speech Commands V2에서 오디오 분류를 평가한다. 일반 소리 사건과 환경음, 짧은 발화 명령처럼 성격이 다른 자료를 구분해 결과를 해석해야 한다.
분류와 위치 찾기
녹음에 어떤 소리가 있는지 맞히는 것과 그 소리가 정확히 언제 발생했는지 찾는 것은 다른 문제다. 분류 점수가 높다는 사실만으로 시간 구간 검출까지 잘한다고 단정할 수는 없다.
관련 문서
AudioSet / PANNs / BEATs / Audio-MAE / HEAR 오디오 표현 평가 / VGGSound