위키득계정 ↗
기술

불확실성 기반 MOS 예측

불확실성 기반 MOS 예측기술
과제
음성 품질의 제로샷 예측
사용 신호
자기 지도 모델의 불확실성
평가 자료
VoiceMOS 2022와 2023
주요 분석
모델 및 언어 조건별 상관관계
불확실성 기반 MOS 예측은 사전 학습된 자기 지도 음성 모델의 불확실성을 음질의 대리 신호로 활용하는 연구다. 대규모 청취 평가 라벨이 부족한 조건에서 점수와의 상관관계를 분석한다.

라벨이 적을 때의 대리 신호

평균 의견 점수를 얻으려면 청취 평가가 필요하므로 많은 라벨을 모으기 어렵다. 이 연구는 별도의 MOS 학습이 충분하지 않은 상황에서 기존 음성 모델이 제공하는 불확실성을 활용한다.

사전 학습 모델 활용

wav2vec 같은 자기 지도 모델에서 불확실성 척도를 얻어 MOS와의 관계를 살핀다. 음질 점수를 직접 학습한 예측기와 달리 기존 모델의 신호를 대리 평가로 사용하는 관점이다.

조건별 검증

VoiceMOS 2022와 2023 자료에서 모델과 언어 조건을 달리하며 상관관계를 분석한다. 어떤 설정에서 관계가 강한지 살피는 것이 모든 환경에 하나의 상관값을 그대로 적용하는 것보다 중요하다.

불확실성과 저음질

낯선 발음이나 언어도 모델에게 어려울 수 있다. 따라서 불확실성이 높다는 이유만으로 잡음이나 왜곡이 반드시 크다고 단정할 수 없으며, 모델이 익숙한 영역과 평가 대상의 관계를 함께 확인해야 한다.

관련 문서

UTMOS / S3QA / NISQA / MOSA-Net / DNSMOS P835 / ViSQOL v3