자유 문장으로 음악 연결하기
기존 음악 태깅과 내용 기반 검색은 정해진 속성 체계에 의존하는 경우가 많다. MuLan은 음악 음향을 제약이 적은 자연어 설명에 직접 연결하는 모델로 제안됐다.
두 타워의 공통 표현
음악과 문장을 각각 표현하는 두 타워가 공동 임베딩 공간을 학습한다. 약하게 연관된 자유 문장을 포함한 대규모 음악 자료로 훈련하며 기존 음악 태그도 표현의 일부로 다룰 수 있다.
여러 방식의 전이 평가
전이 학습, 제로샷 음악 태깅, 음악 분야 언어 이해, 교차 모달 검색에서 임베딩의 활용을 평가한다. 고정 범주를 학습하지 않은 태깅 조건과 모델이 어떤 음악 자료로 사전 학습됐는지는 다른 문제다.
자연어 검색의 예
잔잔한 현악 반주처럼 여러 속성을 조합한 표현은 한 개의 장르 태그로 충분히 나타내기 어려울 수 있다. 공동 표현은 이런 문장과 음악을 연결하는 방향을 제공한다. 다만 주관적 표현의 의미와 실제 들리는 특성이 항상 일대일로 정해지지는 않는다.
관련 문서
MERT / MU-LLaMA / OpenMU / WavText5K / See Hear and Read / Audio Flamingo