연속 신호 대신 코드
텍스트에서 연속적인 음향 신호를 직접 회귀하는 대신 오디오 코덱이 만든 이산 코드의 순서를 학습한다. 음성 합성을 조건부 언어 모델링으로 바라보는 접근이다.
음향 프롬프트
논문은 학습 중 보지 못한 화자의 3초 녹음을 음향 프롬프트로 활용하는 설정을 제시한다. 짧은 예시에서 화자와 소리 환경의 특징을 반영하는 문맥 학습 능력을 연구한다.
자연스러움과 화자 유사성
말이 자연스럽게 들리는 정도와 예시 화자의 특징을 닮은 정도는 서로 다른 평가 항목이다. 발음과 문장 전달이 좋아도 화자 유사성이 낮을 수 있고, 닮은 음색이어도 말의 내용이 정확하지 않을 수 있다.
합성과 실제 발화
생성한 음성이 어떤 화자와 비슷하게 들려도 그 사람이 실제로 해당 문장을 말한 증거가 되지는 않는다. 음성의 유사성과 녹음된 사실 여부를 구별하는 것이 결과를 이해하는 기본 전제다.
관련 문서
AudioLM / EnCodec / SoundStream / HiFi-Codec / Descript Audio Codec / SNAC