코드북 수를 줄이는 이유
오디오를 이산 표현으로 압축하면 생성 모델이 코드의 순서를 학습할 수 있다. 그러나 복원 품질을 높이기 위해 많은 코드북을 사용하면 뒤에서 코드를 생성하는 모델의 부담도 커질 수 있다.
그룹 잔차 양자화
그룹 잔차 벡터 양자화를 사용해 네 개의 코드북으로 구성한 코덱을 제안한다. 코드북의 개수와 함께 표현 방식이 복원 품질에 어떤 영향을 주는지 살피는 접근이다.
학습 과정과 도구
공개된 음성 합성 데이터들을 활용한 학습 실험과 함께 AcademiCodec 도구를 제시한다. 이 도구는 HiFi-Codec뿐 아니라 EnCodec과 SoundStream의 학습 코드 및 사전 학습 모델도 제공하는 구성을 다룬다.
비교 조건
코드북이 적다고 모든 설정에서 전송량이나 계산량이 같은 비율로 줄어드는 것은 아니다. 코드북 크기와 프레임률, 모델 구조가 달라질 수 있으므로 같은 전송률과 소리 종류에서 복원 결과를 비교해야 한다.
관련 문서
SoundStream / EnCodec / Descript Audio Codec / SNAC / MusicGen / MusicLM