음성에 담긴 여러 정보
음성에는 말의 내용 외에 화자와 발화 방식 등 여러 정보가 들어 있다. WavLM은 음성 인식에만 집중하기보다 다양한 후속 음성 처리 작업에 사용할 표현을 학습하려는 접근이다.
두 학습 목표
마스킹된 음성 예측으로 발화 내용의 모델링 능력을 유지하고 잡음 제거 학습을 더한다. 잡음 제거는 음성 인식 외의 과제에도 활용할 수 있는 표현을 강화하려는 구성이다.
순서 정보와 규모
트랜스포머에서 게이트 상대 위치 편향을 사용해 입력 음성의 순서를 더 잘 포착하도록 한다. 논문은 학습 데이터를 6만 시간에서 9만 4천 시간으로 늘리는 설정도 다룬다.
표현과 응용의 구분
좋은 사전 학습 표현을 얻었다고 모든 후속 작업의 정답이 바로 출력되는 것은 아니다. 음질 평가나 화자 처리에 활용할 때는 표현 위에 어떤 모델을 학습하고 어떤 자료로 검증했는지 따로 확인해야 한다.