풍부한 음악 조건
일반적인 분위기 설명보다 구체적인 음악 지시를 처리하려는 시스템이다. Mustango는 화음과 박, 템포 및 조성 정보를 포함한 문장으로 생성 음악을 제어하는 문제를 다룬다.
MuNet의 안내
텍스트에서 예측한 음악 조건과 일반 텍스트 임베딩을 역확산 과정에 제공한다. 음악 지식을 반영한 UNet 안내 모듈 MuNet이 이런 조건을 생성 과정에 연결한다.
음악 특징을 포함한 자료
화성과 리듬, 강약을 바꾸는 자료 증강 및 음악 정보 검색 도구로 추출한 특징을 활용한다. 기존 설명에 음악 이론 기반 정보를 더한 5만 2000개 이상의 MusicBench 항목을 구성한다.
조건을 확인하는 예
느린 템포라는 지시와 특정 조성이라는 지시는 다른 음악적 속성을 요구한다. 전체 분위기가 비슷해도 두 조건을 모두 충족했는지 따로 확인해야 구체적인 제어 성능을 평가할 수 있다.
관련 문서
Tango 오디오 생성 / MusicGen / AudioLDM 2 / MusicLM / BACHI / SongBench