텍스트에 정렬된 잡음
인코더가 예측하는 잡음 표현을 단조 정렬 탐색으로 텍스트 입력에 맞춘다. 디코더는 이를 점차 변환해 음성의 멜 스펙트로그램을 생성하는 구성을 사용한다.
확률 미분방정식의 관점
확률 미분방정식의 틀을 이용해 서로 다른 매개변수의 잡음에서 데이터를 복원하는 경우로 확산 모델을 확장한다. 이 관점은 생성 추론 방식을 유연하게 구성하는 데 활용된다.
속도와 품질 조절
생성 과정을 어떻게 계산하느냐에 따라 음질과 추론 시간 사이의 절충을 조절한다. 빠른 설정과 자세한 설정의 결과가 항상 같은 것은 아니므로 지연과 청감 평가를 함께 보아야 한다.
표현 생성과 파형 생성
Grad-TTS가 생성하는 멜 스펙트로그램과 최종적으로 듣는 파형은 구별된다. 전체 시스템을 비교할 때는 뒤에서 파형으로 바꾸는 단계까지 포함했는지 확인해야 모델 간 속도와 품질을 공정하게 해석할 수 있다.
관련 문서
Glow-TTS / VITS / FastSpeech 2 / Tacotron 2 / HiFi-GAN 보코더 / WaveGlow