공유 변환과 개별 입출력
음성과 텍스트는 서로 다른 형태의 자료이므로 모달리티별 전처리망을 거친다. 공유 인코더 디코더가 시퀀스 변환을 수행하고 후처리망이 목표 모달리티의 출력을 만든다.
표현 공간 연결
인코더와 디코더 사이에서 음성 및 텍스트 상태를 잠재 단위와 무작위로 섞는 교차 모달 벡터 양자화를 제안한다. 두 종류의 정보를 공통 의미 공간으로 정렬하려는 구성이다.
여러 후속 과제
음성 인식, 합성, 번역, 음성 변환, 음성 향상, 화자 식별을 평가한다. 동일한 틀을 활용한다는 것과 과제별 입력 및 출력 방식이 모두 같다는 것은 구별된다.
구성 요소의 역할
공유 부분을 쓴다는 사실만으로 원시 파형과 문자 토큰을 같은 방법으로 읽는 것은 아니다. 모달리티별 입출력망과 후속 과제의 학습 조건을 함께 보아야 실제 공유 범위를 이해할 수 있다.
관련 문서
SpeechUT / HuBERT / WavLM / UniSpeech / VALL-E / SUPERB 음성 벤치마크