음성만으로 표현 배우기
음성과 전사문의 쌍이 없어도 오디오에서 유용한 표현을 배울 수 있도록 구성한다. 이후 더 적은 양의 전사 자료로 음성 인식에 맞게 미세 조정하는 접근이다.
잠재 공간에서 가리기
파형에서 얻은 잠재 표현의 일부를 마스킹하고 양자화한 표현에 대한 대조 과제를 푼다. 양자화 표현은 모델과 함께 학습된다.
라벨 효율의 평가
연구는 전사 자료의 양을 바꾸며 음성 인식 성능을 살핀다. 라벨이 적은 경우의 효과를 볼 때는 사전 학습에 쓴 라벨 없는 음성의 규모도 함께 고려해야 한다.
인식과 음질 평가
음성 인식에 유용한 표현은 다른 음성 작업에 활용될 수 있지만 용도에 맞는 검증이 필요하다. 단어를 잘 인식한다는 결과와 사람에게 자연스럽게 들린다는 결과는 같은 평가가 아니다.