생성 모델 앞의 표현
오디오 파형은 짧은 시간에도 많은 샘플을 포함한다. 이를 낮은 차원의 이산 토큰으로 바꾸면 언어 모델과 같은 순서 모델이 소리를 표현하고 생성하는 데 사용할 수 있다.
양자화와 복원 손실
고음질 오디오 생성 기법에 벡터 양자화 개선과 적대적 손실 및 복원 손실 개선을 결합한다. 코드를 작게 만드는 것과 다시 들을 때의 품질을 함께 고려하는 설계다.
여러 소리 영역
음성만을 위한 압축기가 아니라 음악과 환경음 등을 하나의 범용 모델로 다루는 구성을 제시한다. 특정 영역의 청감 결과가 다른 종류의 소리에서도 그대로 유지된다고 단정하지는 말아야 한다.
압축 배수의 기준
압축 배수는 비교 대상이 되는 원래 표현의 크기에 따라 달라진다. 같은 길이의 소리라도 샘플당 비트 수와 채널 수가 다르면 원본 용량이 달라지므로 전송률과 음질을 함께 비교해야 한다.
관련 문서
SoundStream / EnCodec / SNAC / MusicGen / MusicLM / SpecVQGAN