문자와 오디오의 연결
전통적인 음성 합성의 여러 처리 단계를 통합하려는 접근이다. 텍스트와 오디오의 쌍에서 학습하며 음소 수준의 정렬 정보를 따로 요구하지 않는 구성을 제시한다.
스펙트로그램 먼저 예측하기
인코더와 어텐션 기반 디코더가 문자에서 멜 스펙트로그램 프레임을 생성한다. 후처리 네트워크가 선형 주파수 규모의 스펙트럼 크기를 예측하고 Griffin-Lim 알고리즘이 파형을 재구성한다.
여러 프레임 출력
디코더의 한 단계에서 서로 겹치지 않는 여러 프레임을 예측한다. 문자 하나에 여러 음성 프레임이 대응한다는 특성을 이용해 디코딩 단계 수를 줄이고 정렬 학습을 돕는 구성이다.
정렬과 발음의 평가
문장이 자연스럽게 들려도 일부 글자를 빠뜨리거나 반복하면 올바른 합성이라고 보기 어렵다. 입력 문자의 전달, 발음, 운율과 파형의 청감을 나누어 확인하면 어디에서 오류가 생겼는지 구별하기 쉽다.
관련 문서
WaveNet / AudioLM / VALL-E / SoundStream / EnCodec / HiFi-Codec