잠재 표현을 통한 통합
음향 표현 예측과 파형 합성을 잠재 변수를 통해 연결해 끝에서 끝까지 학습하는 접근이다. 조건부 변분 추론에 정규화 플로를 더하고 파형 영역의 적대적 학습을 사용한다.
하나의 문장과 여러 리듬
글자만으로는 실제 발화의 모든 높낮이와 길이가 정해지지 않는다. 확률적인 지속시간 예측기는 같은 입력에서도 다양한 리듬의 음성을 생성할 수 있도록 이런 불확실성을 모델링한다.
훈련과 추론의 차이
훈련에서는 목표 음성에서 얻는 정보와 텍스트 조건을 연결해 표현을 학습한다. 실제 합성에서는 입력 텍스트와 예측한 지속시간을 이용하므로 학습 때의 정보 경로와 생성 때의 경로를 구분해야 한다.
다양성과 정확도
같은 문장을 여러 번 생성해 리듬이 달라져도 매번 글자의 내용이 정확히 전달돼야 한다. 다양한 발화가 나온다는 성질과 누락이나 반복 없이 읽는다는 성질은 각각 확인해야 한다.
관련 문서
Glow-TTS / HiFi-GAN 보코더 / FastSpeech 2 / Tacotron 2 / VALL-E / AudioLM