문자와 시간의 대응
텍스트와 음성은 길이가 서로 달라 어느 입력 부분이 어느 소리 구간에 대응하는지 알아야 한다. Glow-TTS는 텍스트와 음성 잠재 표현 사이에서 가장 가능성 높은 단조 정렬을 스스로 탐색한다.
단조 정렬의 의미
단조라는 제약은 발화가 텍스트의 순서를 따라 진행한다는 구조를 반영한다. 동적 계획법과 플로 모델의 성질을 결합해 이런 제약을 만족하는 정렬을 찾는다.
합성과 제어
생성 플로를 활용해 빠르고 다양한 음성 합성을 다루며 여러 화자로의 확장도 연구한다. 정렬을 외부 자기회귀 모델에서 가져오는 병렬 합성과는 학습 구성이 다르다.
긴 발화의 확인
짧은 문장에서는 드러나지 않던 누락이나 반복이 긴 문장에서 나타날 수 있다. 문장의 끝까지 순서대로 전달되는지 확인하면 청감이 자연스러운 것과 정렬이 안정적인 것을 구별할 수 있다.
관련 문서
FastSpeech / FastSpeech 2 / Tacotron 2 / Tacotron / WaveNet / VALL-E