숨은 단위를 다리로
음성의 표현과 문자 표현 사이에 공유 단위 인코더를 둔다. 숨은 단위를 인터페이스로 사용해 두 모달리티의 정보를 연결하는 접근이다.
두 변환으로 분해하기
음성에서 텍스트로 가는 문제를 음성에서 단위로, 단위에서 텍스트로 가는 두 변환으로 나눈다. 각각을 짝이 없는 음성 및 텍스트 자료로 공동 사전 학습하는 구성을 제시한다.
인식과 번역 평가
사전 학습한 모델을 음성 인식과 음성 번역에 맞게 미세 조정하고 평가한다. 짝 없는 자료로 사전 학습한다는 사실과 후속 과제에서 지도 자료를 전혀 쓰지 않는다는 주장은 다르다.
단위의 의미
숨은 단위는 모델을 연결하는 표현이며 사람이 쓰는 단어와 반드시 같은 것은 아니다. 단위 예측이 좋아졌다는 결과가 최종 번역의 의미 정확도를 그대로 보장하지는 않으므로 최종 출력 과제도 검증해야 한다.
관련 문서
SpeechT5 / HuBERT / vq-wav2vec / UniSpeech / wav2vec 2 / WavLM