단순한 양자화 구성
여러 양자화기와 큰 모델이 필요한 압축 방식의 자원 부담을 줄이려는 접근이다. 하나의 양자화기로 오디오의 이산 토큰을 만들며 생성 모델 등 후속 작업에 활용할 표현을 다룬다.
경량 구조의 결합
단순화한 합성곱 네트워크와 국소 트랜스포머 모듈을 탐구한다. 여기에 여러 시간 규모에 걸친 음향 변화를 포착하도록 설계한 TConv 구조를 포함한다.
계산과 음질의 절충
작은 모델을 만들면 계산량을 줄일 여지가 있지만 복원 품질이 유지되는지도 확인해야 한다. 연구는 다양한 데이터셋에서 계산 부담과 재구성 품질을 함께 평가한다.
복원이라는 표현의 범위
듣기에 원음과 비슷하다는 주장과 디지털 샘플이 하나도 달라지지 않는다는 주장은 다르다. 신경망 코덱의 복원 품질을 해석할 때는 청감 평가와 수치적 동일성을 구별해야 하며, 높은 품질만으로 비트 단위 무손실을 뜻한다고 단정하면 안 된다.
관련 문서
HiFi-Codec / SNAC / Descript Audio Codec / SoundStream / EnCodec / MusicGen