두 표현의 역할
오디오 토큰화에서는 긴 시간의 구조를 포착하는 것과 세부 음질을 복원하는 것 사이에 차이가 있다. AudioLM은 두 성질을 함께 얻기 위해 서로 다른 표현을 결합한다.
구조와 음향 코드
오디오로 사전 학습한 마스킹 언어 모델의 활성을 이산화해 긴 구조를 담는다. 신경망 오디오 코덱의 이산 코드는 높은 품질의 소리 합성을 위한 정보를 제공한다.
전사문 없이 이어 생성하기
원시 오디오 파형을 학습해 짧은 입력 이후를 생성한다. 음성에서는 전사문이나 주석 없이도 문법과 의미가 그럴듯한 연속 생성을 연구하며, 피아노 음악의 연속 생성으로도 접근을 확장한다.
이어지는 내용의 의미
앞부분이 자연스럽게 연결된다고 생성한 뒷부분이 실제 녹음의 미래라는 뜻은 아니다. 가능한 후속 소리를 만드는 생성 과제이므로 연결의 자연스러움과 사실적인 원본 복원을 구별해야 한다.
관련 문서
SoundStream / EnCodec / MusicLM / MusicGen / VALL-E / Descript Audio Codec