텍스트에서 음향 특징으로
순환 시퀀스 모델이 문자 임베딩을 멜 스펙트로그램으로 변환한다. 텍스트가 담은 발화 내용을 음향적인 시간 표현으로 바꾸는 단계다.
보코더의 입력
예측한 멜 스펙트로그램을 수정된 WaveNet에 전달해 시간 영역 파형을 합성한다. 언어 특징이나 지속시간, 기본 주파수를 따로 조합하는 입력 대신 간결한 음향 중간 표현을 활용한다.
구조 선택의 평가
연구는 구성 요소를 바꾸는 제거 실험과 멜 스펙트로그램을 조건으로 쓰는 선택의 영향을 평가한다. 중간 표현을 바꾸는 것이 음질뿐 아니라 보코더 구조의 단순화에도 어떤 영향을 주는지 살핀다.
두 단계의 오류
글자가 빠진 스펙트로그램을 좋은 보코더로 바꿔도 빠진 내용이 자동으로 회복되지는 않는다. 반대로 내용이 맞아도 파형 합성에서 잡음이 생길 수 있다. 내용 전달과 청감 품질을 나누어 확인해야 한다.
관련 문서
Tacotron / WaveNet / FastSpeech / VALL-E / AudioLM / EnCodec