시간 해상도가 다른 코드
잔차 벡터 양자화는 여러 코드북을 이어서 사용하는 방식이다. SNAC은 양자화기가 모두 같은 시간 해상도로 작동해야 한다는 제약을 풀고 서로 다른 프레임률을 쓰는 계층을 구성한다.
여러 규모의 소리 구조
오디오에는 짧게 변하는 성분과 더 긴 흐름이 함께 있다. 여러 시간 규모에 맞춰 코드를 배치해 이런 구조에 적응하고 압축 효율을 높이려는 접근이다.
토큰의 수와 정보
같은 시간 길이에서도 코드가 생성되는 프레임률에 따라 토큰 수가 달라진다. 따라서 코드북 개수만 세어 생성 모델의 부담을 비교하면 서로 다른 시간 해상도에서 오는 차이를 놓칠 수 있다.
복원 품질 확인
느린 변화가 잘 유지돼도 짧은 충격음의 윤곽은 흐려질 수 있다. 가상의 긴 배경음에 짧은 타격이 섞인 녹음을 생각하면, 전체 질감과 순간적인 사건을 각각 들어 보는 평가가 필요함을 알 수 있다.
관련 문서
Descript Audio Codec / SoundStream / EnCodec / MusicGen / MusicLM / Mousai