손상 사례 만들기
여러 음성 자료의 고품질 발화에 주파수 필터링, 잔향, 배경 잡음, 디지털 압축을 적용한다. 실제 환경의 음질 저하를 모사한 사례를 학습에 활용한다.
임베딩 거리로 목표 구성
사전 학습된 WavLM에서 깨끗한 발화와 손상된 발화의 표현을 얻고 코사인 거리를 계산한다. 이 계산값을 음성 저하의 학습 목표로 사용한다.
손상된 입력만으로 예측
트랜스포머 모델은 손상된 발화만 보고 목표 거리를 예측하도록 학습된다. 훈련 목표를 만들 때는 깨끗한 짝을 쓰지만 평가 입력에 같은 짝을 요구하는 구성과는 구별된다.
품질과 대리 목표
임베딩 거리는 사람이 직접 매긴 음질 점수와 동일한 양이 아니다. 연구는 낯선 자료에서 예측을 평가하고 MOS 및 음성 인식 성능 등과의 관계를 살피므로 목표 거리의 정확도와 청감 관련성을 따로 확인해야 한다.
관련 문서
NISQA / UTMOS / DNSMOS P835 / MOSA-Net / ViSQOL v3 / SoundStream