기호 음악과 언어의 연결
음악 오디오를 듣는 대신 MIDI의 기호 구조를 인코딩해 언어 모델과 연결한다. MusicBERT와 Llama-3-8B를 특징 정렬 및 지시 조정의 두 단계로 학습한다.
MIDI와 텍스트 자료
GiantMIDI-Piano에 세밀한 메타정보를 붙이는 확장 가능한 주석 절차로 MIDI 텍스트 자료를 만든다. 자동 전사 기반 MIDI와 그 위에 더한 주석의 성격을 함께 고려해야 한다.
비교한 기준 방식
MIDI를 ABC 표기로 바꿔 같은 지시 조정을 적용한 기준 모델과 캡셔닝 및 질문 응답의 의미 정렬을 비교한다. 사람 평가도 포함하지만 특정 기준보다 나은 결과를 모든 기호 음악 과제의 우위로 확대할 수는 없다.
기호와 실제 음색
MIDI는 음표와 시간, 악기 설정을 표현할 수 있지만 실제 녹음의 음색과 공간 울림을 그대로 담는 것은 아니다. 기호 음악에 근거한 설명과 특정 오디오를 들은 설명은 입력이 제공하는 근거가 다르다.
관련 문서
MusicBERT / GiantMIDI-Piano / MusiLingo / LLark / MSU-Bench / PianoBART