내용 외의 화자 정보
음성 인식 중심의 표현 학습과 달리 누가 말했는지에 관한 특징을 잘 얻는 문제에 초점을 둔다. 자기 지도 목표에 발화 단위 대조 손실을 다중 과제로 더한다.
겹친 발화로 증강
추가로 겹쳐진 발화를 만들어 학습에 포함하는 혼합 전략을 제안한다. 화자 구별을 더 잘하도록 입력 조건을 다양화하려는 구성이다.
기반과 평가
제안한 손실과 증강을 HuBERT에 통합하고 SUPERB 과제로 평가한다. 구성 요소를 제거하는 실험을 통해 각각의 기여를 분석하며 학습 자료를 9만 4천 시간으로 확대한 경우도 다룬다.
표현과 인증의 구분
화자 정보를 잘 담은 표현이라고 실제 사람의 신원을 확정하거나 보안 인증을 완성하는 것은 아니다. 화자 구별 과제의 성능과 실제 환경의 오류 및 공격에 대한 검증은 다른 범위다.
관련 문서
UniSpeech / HuBERT / WavLM / wav2vec 2 / SUPERB 음성 벤치마크 / S3QA