연속 소리와 이산 표현
인코더가 파형을 압축된 표현으로 바꾸고 양자화한 뒤 디코더가 복원한다. 압축된 코드 표현을 얻는 과정과 원래 파형에 가까운 소리를 재구성하는 과정을 함께 학습한다.
손실의 균형
손실 균형 장치는 각 손실의 가중치가 전체 기울기에서 차지할 비율을 뜻하도록 설계된다. 손실값 자체의 일반적인 크기와 가중치 선택이 지나치게 얽히는 문제를 줄이려는 방식이다.
모델 구성의 구분
공식 구현은 다양한 오디오로 학습한 24킬로헤르츠 모노 인과 모델과 음악으로 학습한 48킬로헤르츠 스테레오 비인과 모델을 구분한다. 샘플링 주파수만 다른 동일한 설정으로 이해하면 안 된다.
추가 압축과 음질
경량 트랜스포머로 코드 표현을 더 압축하는 방법도 연구한다. 이는 양자화로 잃은 정보를 되살리는 과정과 다르다. 전송량 감소와 복원 소리의 품질을 서로 다른 항목으로 확인해야 한다.
관련 문서
SoundStream / MusicGen / MusicLM / SpecVQGAN / AudioLDM / Mousai