음악 고유의 특성 배우기
음악에는 조성과 음높이 등 일반 발화 모델과 다른 특성이 있다. MERT는 이런 음악 지식을 음향 표현에 담기 위한 자기 지도 사전 학습을 연구한다. 발화 표현을 음악에 그대로 적용하는 것과는 목표 단서를 다르게 설계한다.
두 교사의 의사 레이블
RVQ-VAE에 기반한 음향 교사와 CQT에 기반한 음악 교사를 결합한다. 교사가 제공하는 의사 레이블로 마스킹 언어 모델 방식의 음향 사전 학습을 수행한다. 여기서 언어 모델 방식은 가려진 내용을 예측하는 학습 형태를 뜻한다.
규모와 전이 평가
사전 학습의 불안정성을 다루는 설정을 연구해 약 9,500만에서 3억 3천만 매개변수 규모로 확장한다. 학습한 표현을 14개 음악 이해 과제에서 평가한다. 여러 과제에 유용한 표현과 모든 음악적 속성을 정확히 파악하는 능력은 구분해야 한다.
음높이와 음색의 예
같은 음을 다른 악기로 연주하면 음높이는 비슷해도 음색이 달라질 수 있다. 같은 악기의 다른 음에서는 그 반대 방향의 변화가 생긴다. 음악 표현은 어떤 속성을 유지하고 어떤 차이를 구분하는지 과제별로 살펴볼 필요가 있다.
관련 문서
MU-LLaMA / SALMONN / Audio Flamingo / 자기 지도 학습 / 지식 증류 / See Hear and Read