사람의 평가를 예측하기
음성 샘플을 사람이 들었을 때 매기는 평균 의견 점수를 예측하는 문제를 다룬다. 예측 점수는 새로운 청취 실험에서 실제로 얻은 사람의 평가와 구별해야 한다.
학습기의 결합
강한 학습기는 자기 지도 모델 미세 조정에 여러 개선을 적용한다. 약한 학습기는 자기 지도 특징에서 기본적인 기계 학습 방법으로 점수를 예측하며, 두 계열을 앙상블로 결합한다.
다른 평가 영역
연구는 학습과 유사한 영역의 주 트랙뿐 아니라 다른 청취 시험에서 적은 라벨을 사용하는 영역 밖 트랙도 다룬다. 학습에 익숙한 조건의 성능과 낯선 조건의 일반화는 별도로 살펴야 한다.
평가를 해석할 때
가상의 두 음성 합성기가 서로 다른 언어나 녹음 조건을 사용하면 점수 차이가 모델 품질만을 반영하지 않을 수 있다. 평가 대상의 영역과 사람이 들은 결과를 함께 고려하는 편이 타당하다.
관련 문서
ViSQOL v3 / DNSMOS P835 / VITS / Tacotron 2 / FastSpeech 2 / VALL-E