소리의 잠재 표현에서 생성하기
파형 전체를 직접 모델링하는 대신 오디오 신호의 잠재 표현을 학습하고 생성한다. AudioLDM은 CLAP에서 얻은 표현을 활용해 문장 설명과 소리 생성을 연결한다.
학습 조건과 생성 조건
확산 모델 학습에는 오디오 임베딩을 이용하고 샘플링 시에는 텍스트 임베딩을 조건으로 제공한다. 같은 표현 공간을 활용하더라도 두 시점에 입력하는 정보는 다르다.
생성과 조작의 평가
연구는 AudioCaps를 활용한 학습과 객관 및 주관 평가를 제시한다. 별도 과제 학습 없이 텍스트로 소리의 스타일을 바꾸는 등의 조작도 다루며 생성과 편집의 활용 가능성을 살핀다.
문장의 속성과 실제 소리
멀리서 울리는 종이라는 조건에서는 종소리의 종류뿐 아니라 거리감도 중요하다. 소리가 그럴듯한지와 문장의 여러 속성을 충족하는지는 나눠 확인해야 한다.
관련 문서
CLAP / LAION-CLAP / AudioCaps / WavCaps / MusicGen / MusicLM