여러 종류의 오디오 생성
발화와 음악, 효과음은 공통적인 음향 성질이 있지만 생성 목표는 서로 다를 수 있다. AudioLDM 2는 같은 학습 방법을 이들 영역에 적용하기 위한 공통 표현을 제안한다.
Language of Audio
자기 지도 표현 모델 AudioMAE를 바탕으로 오디오를 Language of Audio라는 중간 표현으로 바꾼다. 일상적인 자연어 문장 자체와 같은 뜻의 언어라기보다 생성에 사용하는 오디오 표현을 가리킨다.
조건에서 중간 표현으로
GPT-2로 입력 모달리티를 중간 표현으로 옮기고 이를 조건으로 잠재 확산 모델을 학습한다. 자기 지도 사전 학습한 표현 모델과 확산 모델을 재사용할 수 있는 구성을 지향한다.
영역별 결과의 구분
연구는 텍스트 기반 오디오와 음악, 발화 생성의 주요 평가를 다룬다. 효과음을 자연스럽게 만드는 성적이 말의 발음이나 음악 구조의 품질을 그대로 의미하지 않으므로 영역별 기준을 구분해야 한다.