앞선 샘플에서 다음 샘플로
오디오를 작은 샘플의 연속으로 보고 앞서 나온 값들을 바탕으로 다음 값의 분포를 예측한다. 이런 조건부 예측을 이어 붙여 전체 파형을 생성하는 확률적 모델이다.
조건에 따른 음성
화자 식별자를 조건으로 사용해 하나의 모델이 여러 화자의 특징을 다루는 설정을 제시한다. 텍스트 음성 합성에서도 평가하며 영어와 중국어의 청감 실험을 다룬다.
음악과 인식으로 확장
음성 외에 음악으로 학습한 모델이 새로운 음악 단편을 생성하는 경우를 탐구한다. 또한 생성만이 아니라 음소 인식의 판별 모델로 활용하는 가능성도 연구한다.
학습과 생성의 계산
훈련 데이터를 처리하는 효율과 실제로 다음 샘플을 차례로 만들어 내는 속도는 같은 문제가 아니다. 초당 많은 샘플을 다루는 파형 모델을 비교할 때는 학습 처리량과 생성 지연을 따로 살펴야 한다.
관련 문서
Tacotron / AudioLM / NSynth / SoundStream / EnCodec / VALL-E