서로 다른 자료 활용
전사나 음소 정보를 가진 자료와 그런 라벨이 없는 자료를 하나의 사전 학습 접근에서 활용한다. 모든 자료가 라벨 없이 학습된다는 뜻이 아니라 지도 학습과 자기 지도 학습을 결합한 구성이다.
음소 구조 반영
지도 음소 CTC 학습과 음소를 고려한 대조 학습을 다중 과제로 수행한다. 음성 표현이 음소 구조와 더 관련된 정보를 담도록 하는 것이 목표다.
전이 성능의 평가
CommonVoice 자료에서 언어 간 표현 학습을 평가하고 학습과 다른 영역의 음성 인식도 시험한다. 같은 언어와 환경에서의 정확도뿐 아니라 조건이 바뀔 때의 활용성을 살핀다.
자료 조건 비교
라벨이 있는 학습을 함께 사용하므로 비지도 방식과 비교할 때 라벨의 양과 종류를 확인해야 한다. 모델 구조가 비슷해도 사전 학습에서 사용한 정보가 다르면 성능 차이를 같은 기준으로 해석하기 어렵다.
관련 문서
UniSpeech-SAT / HuBERT / wav2vec 2 / WavLM / SUPERB 음성 벤치마크 / data2vec