표현을 먼저 학습하기
많은 양의 라벨 없는 오디오에서 음성 표현을 학습한 뒤 그 표현으로 음향 모델의 학습을 개선한다. 전사문이 적은 상황에서 오디오 자체가 제공하는 구조를 활용하려는 접근이다.
대조 과제의 역할
잡음 대조 이진 분류 과제로 합성곱 네트워크를 사전 학습한다. 음성의 연속적인 관계를 학습하는 목표와 최종적으로 문자 전사문을 출력하는 과제는 구별된다.
인식 단계와의 연결
사전 학습에서 얻은 표현을 음성 인식의 음향 모델 학습에 사용한다. 논문은 전사된 자료가 적은 조건을 포함해 인식 오류율을 평가한다.
후속 모델과 구분
잠재 공간을 마스킹하고 양자화 표현의 대조 과제를 함께 학습하는 wav2vec 2와는 구성과 학습 목표가 다르다. 같은 계열의 이름이라고 두 방식의 실험 조건과 수치를 서로 바꾸어 해석하면 안 된다.
관련 문서
wav2vec 2 / vq-wav2vec / HuBERT / WavLM / UniSpeech / SUPERB 음성 벤치마크