잡음에서 구조 있는 소리로
백색 잡음 신호를 여러 단계의 마르코프 연쇄로 변환해 구조적인 파형을 생성한다. 오디오 샘플을 처음부터 한 개씩 완성하는 자기회귀 방식과는 생성 순서가 다르다.
여러 생성 과제
멜 스펙트로그램을 받아 파형을 만드는 신경망 보코더로 사용할 수 있다. 클래스 조건을 주어 생성하거나 외부 조건 없이 소리를 생성하는 경우도 연구한다.
학습 목표
데이터 우도에 대한 변분 경계의 변형을 최적화해 모델을 학습한다. 생성적 적대 학습에서 판별기의 판단을 이용하는 방식과 다른 목표를 사용한다.
단계 수와 출력 길이
정해진 수의 확산 단계를 사용한다는 것이 출력 길이에 상관없이 같은 계산량을 쓴다는 뜻은 아니다. 긴 파형은 각 단계에서 처리할 값이 늘어나므로 단계 수와 전체 계산 비용을 나누어 이해해야 한다.
관련 문서
Grad-TTS / Parallel WaveGAN / WaveNet / WaveGlow / HiFi-GAN 보코더 / MelGAN