음향 표현에서 파형으로
텍스트를 직접 읽는 앞단 모델이 아니라 멜 스펙트로그램에서 파형을 만드는 보코더다. 생성기는 합성곱 구조로 시간 해상도를 높여 최종 파형 길이에 맞춘다.
서로 다른 길이의 패턴
생성기에 여러 수용 영역의 잔차 블록을 결합한다. 서로 다른 길이의 패턴을 병렬로 관찰하는 구성을 통해 음향 구조를 반영한다.
주기와 규모의 판별
다중 주기 판별기는 서로 다른 주기의 샘플 구조를 살피고, 다중 규모 판별기는 원래 파형과 더 부드럽게 만든 파형을 평가한다. 적대적 학습 외에 멜 스펙트로그램 손실과 특징 일치 손실도 사용한다.
보코더 평가의 범위
앞단이 잘못된 음향 내용을 만들면 보코더가 매끄러운 파형을 만들어도 발화 내용은 틀릴 수 있다. 또한 속도는 모델 크기와 장비에 따라 달라지므로 파형 합성 품질과 전체 시스템의 정확도를 따로 평가해야 한다.
관련 문서
HiFi-GAN 음성 향상 / Tacotron 2 / FastSpeech / FastSpeech 2 / Glow-TTS / WaveNet