파형을 코드로 압축하기
인코더가 오디오를 표현으로 바꾸고 양자화기가 이를 이산적인 코드로 정리한다. 디코더는 코드에서 다시 소리를 복원한다. 세 부분을 끝에서 끝까지 함께 학습하는 구성을 사용한다.
전송률 조절
양자화 층에 구조적 드롭아웃을 적용해 하나의 모델이 여러 전송률에서 작동하도록 학습한다. 논문은 초당 3킬로비트에서 18킬로비트 범위를 다룬다.
복원과 향상 함께 학습하기
적대적 손실과 복원 손실을 결합해 양자화된 표현에서 소리를 재구성한다. 음성의 배경 잡음 억제를 통해 압축과 음질 향상을 함께 수행하는 경우도 제시한다.
압축률과 청감
작은 파일이라고 원래 소리의 모든 세부가 유지되는 것은 아니다. 가상의 같은 발화를 여러 전송률로 비교할 때는 말의 이해도와 함께 숨소리나 배경의 질감도 들어 보면 압축의 영향을 구별하기 쉽다.
관련 문서
EnCodec / MusicLM / MusicGen / Mousai / SpecVQGAN / AudioLDM