정답 단위가 없는 음성
라벨 없는 발화에는 여러 소리 단위가 섞여 있고 길이와 경계도 명시돼 있지 않다. HuBERT는 군집화를 통해 시간에 맞는 목표 라벨을 구성해 이런 문제를 다룬다.
가려진 부분 예측
예측 손실은 가려진 구간에만 적용한다. 주변 문맥에서 목표 단위를 추정하도록 해 단순한 음향 대응뿐 아니라 연속 입력의 구조를 함께 학습하도록 한다.
군집화의 일관성
연구는 군집 라벨이 처음부터 완벽한 음소 정답일 필요보다 일관된 구조를 주는 성질을 강조한다. 군집화와 표현 학습을 반복하는 설정으로 학습 목표를 개선한다.
라벨 해석의 주의점
가상의 두 발음이 같은 군집에 묶였다고 언어학적으로 같은 음소라고 단정할 수는 없다. 군집 번호는 표현 학습의 목표이며 사람이 정의한 언어 단위와 일대일 대응한다고 보장되지 않는다.
관련 문서
wav2vec 2 / WavLM / data2vec / AudioLM / UTMOS / SUPERB 음성 벤치마크