길이가 다른 두 시퀀스
짧은 음소 시퀀스와 긴 멜 스펙트로그램 시퀀스 사이에는 길이 차이가 있다. FastSpeech는 교사 인코더 디코더 모델의 어텐션 정렬을 활용해 음소의 지속시간을 예측한다.
길이 조절기의 역할
길이 조절기는 지속시간에 따라 음소 표현을 펼쳐 목표 스펙트로그램 길이에 맞춘다. 이후 트랜스포머 기반 순방향 네트워크로 프레임들을 병렬 생성하는 구성을 사용한다.
속도 조절과 견고성
음소가 차지하는 길이를 조절하면 발화 속도를 제어할 수 있다. 연구는 자기회귀 합성에서 나타나는 단어 누락과 반복 문제도 함께 평가한다.
병렬 생성의 범위
멜 스펙트로그램을 병렬로 만든다는 사실만으로 전체 시스템의 처리 시간이 정해지지는 않는다. 파형으로 바꾸는 보코더와 장비에 따라 시간이 달라지므로 음향 특징 생성과 최종 음성 합성의 속도를 구분해야 한다.
관련 문서
Tacotron 2 / Tacotron / WaveNet / VALL-E / AudioLM / HiFi-Codec