음악 표현을 언어 입력으로
음악의 오디오 표현과 언어 모델이 다루는 표현은 서로 다르다. MusiLingo는 MERT에서 얻은 음악 표현을 고정한 언어 모델에 맞게 투영해 음악과 문장 사이를 연결한다.
설명 학습과 지시 학습
음악 캡션 자료로 학습한 뒤 지시 자료로 미세 조정한다. 음악을 전반적으로 설명하는 출력과 특정 질문의 초점에 맞춰 답하는 출력을 함께 다루기 위한 구성이다.
MusicInstruct의 구성
고품질 음악 질문 답변 자료가 부족한 문제에 대응해 MusicCaps의 캡션으로부터 MusicInstruct를 구성한다. 열린 음악 질문을 위한 자료이지만 캡션 기반으로 만든 정보와 직접 듣고 작성한 질문은 생성 과정이 다르다.
요약과 질문의 차이
같은 곡에 대해 전반적인 분위기를 묻는 것과 두드러지는 악기를 묻는 것은 요구하는 답이 다르다. 입력 음악의 정보를 유지하면서 질문이 요구한 범위에 응답하는지 확인해야 한다.
관련 문서
MERT / MU-LLaMA / OpenMU / Song Describer / MuChoMusic / HumMusQA