종합 점수와 원인
같은 전체 점수라도 품질이 나빠진 이유는 다를 수 있다. NISQA는 잡음, 음색의 변색, 소리의 끊김, 크기와 관련한 네 차원을 함께 예측해 원인을 더 구체적으로 살펴보도록 한다.
시간 의존성과 집계
모델을 끝에서 끝까지 학습하며 시간 의존성의 모델링과 시간에 따른 정보 집계에 자기 어텐션을 사용한다. 순간적인 특징과 발화 전체의 평가를 연결하는 구성이다.
학습과 실제 통화 평가
연구는 1만 3천 개가 넘는 새 음성 파일을 학습과 검증에 사용하고 실제 전화 통화 녹음도 시험한다. 여러 출처의 자료를 활용해 낯선 음성에 대한 예측을 평가한다.
조건에 따른 해석
가상의 통화가 조용하지만 간헐적으로 끊긴다면 잡음만 줄였다고 품질이 좋아졌다고 할 수 없다. 전체 점수와 세부 차원을 함께 보면 어떤 문제를 우선 개선할지 구분하기 쉽다.
관련 문서
DNSMOS P835 / UTMOS / ViSQOL v3 / HiFi-GAN 음성 향상 / SoundStream / EnCodec