같은 글과 다른 발화
같은 문장도 속도와 높낮이, 강세가 다른 여러 음성으로 말할 수 있다. FastSpeech 2는 이런 일대다 대응을 더 잘 다루도록 발화 변화 정보를 명시적인 조건으로 추가한다.
교사 출력 대신 실제 목표
교사 모델이 단순화한 스펙트로그램을 학습 목표로 사용하는 대신 실제 목표를 직접 이용한다. 지속시간과 음높이, 에너지는 훈련할 때 파형에서 추출하고 추론에서는 예측값을 사용한다.
파형 생성 변형
같은 연구는 텍스트에서 파형을 병렬로 직접 생성하는 FastSpeech 2s도 설계한다. 멜 스펙트로그램을 생성하는 구성과 파형까지 직접 출력하는 변형의 범위를 구별해야 한다.
조건 예측의 영향
학습 때 정확한 조건을 받는 것과 추론에서 조건을 예측하는 것은 다르다. 음높이 예측이 부정확하면 파형 합성이 매끄러워도 의도한 운율과 달라질 수 있어 조건의 정확도와 출력 음질을 따로 살펴야 한다.
관련 문서
FastSpeech / Tacotron 2 / Tacotron / WaveNet / VALL-E / AudioLM