다양한 변화에 대응하기
입력 소리의 변화에도 유용한 정보를 보존하는 표현을 목표로 한다. 오디오 증강에 불변인 표현을 학습해 흔들리는 음향 조건에서의 견고성을 얻으려는 접근이다.
여러 측면의 정보
감정 인식이나 음악 장르처럼 서로 다른 과제는 필요한 정보가 다르다. 인코더가 국소 특징과 전역 특징을 결합하고 통계를 계산해 다양한 측면의 정보를 제공하도록 구성한다.
구성과 학습의 기여
연구는 범용 오디오 과제로 평가하고 인코더 구조, BYOL 학습, 오디오 증강의 기여를 제거 실험으로 살핀다. 최종 점수만으로 모든 향상을 하나의 요소 때문이라고 해석하면 안 된다.
불변성의 범위
어떤 변화에 견고한 것이 모든 과제에서 이점은 아니다. 예를 들어 음높이를 구분해야 하는 작업에서는 높이 정보가 필요하므로, 증강과 표현이 목표 과제의 구별 기준을 지우지 않는지 확인해야 한다.
관련 문서
HEAR 오디오 표현 평가 / MSM-MAE / Audio-MAE / BEATs / MERT / HuBERT