범용 표현의 비교
한 종류의 소리나 한 과제에 맞춘 표현이 다른 영역에도 유용한지 평가한다. 음성과 환경음, 음악을 아우르는 과제 모음으로 표현의 일반화 범위를 살핀다.
공통 인터페이스
참가자는 공통 API를 따르는 오디오 임베딩 모델을 제출한다. 동일한 틀에서 표현을 평가할 수 있도록 코드와 모델, 자료를 공개하는 재현성에 초점을 둔다.
평가 규모의 의미
논문은 외부 13개 팀의 29개 모델을 16개 데이터셋에서 만든 19개 과제로 평가한다. 이는 보고된 연구의 범위이며 이후의 모든 과제나 제출 모델 수를 뜻하는 수치는 아니다.
과제별 성질
말의 내용을 구분하는 데 좋은 표현이 음악 장르나 환경 사건을 똑같이 잘 구분한다고 보장되지는 않는다. 전체 평균과 함께 영역별 결과를 살피면 범용성의 강점과 약점을 더 명확히 볼 수 있다.
관련 문서
MSM-MAE / Audio-MAE / BYOL-A / BEATs / SUPERB 음성 벤치마크 / MERT