연속 표현을 코드로 바꾸기
오디오에서 얻은 조밀한 표현을 양자화해 이산 단위의 순서로 만든다. 연속 신호를 바로 처리하는 방식과 달리 기호 입력을 전제로 하는 알고리즘을 연결하기 쉬워진다.
문맥 예측과 양자화
wav2vec 방식의 자기 지도 문맥 예측 과제로 표현을 학습한다. 양자화에는 검벨 소프트맥스 또는 온라인 k-means 군집화 방법을 사용하는 구성을 다룬다.
언어 모델 기법의 적용
이산화한 입력에 BERT 사전 학습을 적용하고 음소 분류와 음성 인식에서 평가한다. 여기서 이산 음성 단위는 사람이 작성한 단어나 음소 정답과 자동으로 동일한 의미가 되는 것은 아니다.
표현의 용도
이산 코드를 얻었다고 해당 코드가 고음질 파형 복원을 위한 오디오 코덱과 같은 역할을 한다고 볼 수 없다. 인식 표현을 위한 목표와 청감 좋은 재구성을 위한 목표는 별도로 확인해야 한다.
관련 문서
wav2vec / wav2vec 2 / HuBERT / AudioLM / SoundStream / EnCodec