큰 자료에서 다른 과제로
오디오 태깅과 장면 분류, 음악 분류, 감정 분류, 소리 사건 검출 등은 필요한 정보가 서로 다르다. 큰 오디오 자료에서 배운 모델을 다른 과제에 전이해 활용하는 가능성을 살핀다.
파형과 스펙트로그램
Wavegram-Logmel-CNN은 파형과 로그 멜 스펙트로그램을 모두 입력 특징으로 사용한다. 같은 소리라도 표현 방식에 따라 드러나는 정보가 달라질 수 있다는 점을 활용하는 구성이다.
구조와 계산 부담
여러 합성곱 신경망의 성능과 계산 복잡도를 조사한다. 더 큰 모델이 얻는 이점과 처리에 필요한 자원을 함께 비교하는 접근이다.
전이의 확인
AudioSet 태깅 성능이 좋다고 모든 후속 과제의 성능이 자동으로 정해지는 것은 아니다. 목표 자료의 종류와 라벨, 학습 방법을 맞춰 전이 결과를 따로 확인해야 한다.
관련 문서
AudioSet / AST 오디오 분류 / BEATs / Audio-MAE / HEAR 오디오 표현 평가 / VGGSound