녹음된 음성의 향상
실제 녹음에는 배경 잡음과 잔향, 이퀄라이제이션에 따른 왜곡이 섞일 수 있다. 이 연구는 녹음된 발화를 스튜디오에서 녹음한 것처럼 들리도록 변환하는 음성 향상 문제를 다룬다.
두 영역의 판별기
시간 영역과 시간 주파수 영역에 다중 규모 적대적 판별기를 둔다. 서로 다른 표현에서 소리의 특징을 살펴 향상된 음성이 자연스럽게 들리도록 학습한다.
깊은 특징의 일치
판별기의 깊은 특징을 맞추는 손실을 사용해 향상된 음성의 지각 품질을 개선한다. 파형의 값만 직접 비교하는 것과 학습한 내부 표현에서 특징을 비교하는 것은 다른 기준이다.
제거와 보존
가상의 조용한 발화에서 배경 소음을 줄였지만 말끝까지 약해졌다면 향상 효과를 단순하게 평가하기 어렵다. 잡음 감소와 원래 발화의 보존을 함께 들어 봐야 한다.
관련 문서
WaveNet / SoundStream / Tacotron 2 / EnCodec / AudioLM / FastSpeech 2