서로 다른 평가 목표
음성이 자연스럽게 들리는 정도와 내용을 알아듣기 쉬운 정도는 구분할 수 있다. MOSA-Net은 여러 평가 지표를 함께 추정하는 모델로 이런 서로 다른 목표를 다룬다.
객관적 점수에서 적응하기
처음에는 객관적 지표를 평가하도록 학습하고 적은 양의 학습 자료로 주관적 품질과 명료도 점수 예측에 적응시키는 경우를 연구한다. 사전 학습한 평가 표현을 다른 목표에 활용하는 구성이다.
향상 과정 안내
모델의 잠재 표현을 음성 향상 과정의 지도로 사용하는 QIA-SE 접근도 제시한다. 평가가 끝난 결과에 점수만 매기는 것 외에 품질과 명료도를 고려한 향상 학습에 활용한다.
예측과 실제 측정
모델이 예측한 PESQ나 STOI는 원래 지표를 직접 계산한 값과 구별해야 한다. 예측 오차가 있을 수 있으며, 어떤 지표를 잘 예측한다는 사실만으로 모든 청취 조건에서 좋은 음성임을 보장하지는 않는다.
관련 문서
NISQA / DNSMOS P835 / UTMOS / ViSQOL v3 / HiFi-GAN 음성 향상 / SoundStream