음악을 묻는 다양한 지시
한 곡에 대해서도 설명을 요청하거나 특정 음악적 요소를 물을 수 있다. LLark는 음악 정보를 자연어 지시에 맞춰 활용하도록 지시 조정을 적용한 모델이다.
통합된 학습 자료
여러 공개 음악 데이터셋의 주석을 보강하고 통일된 지시 조정 형식으로 바꾼다. 자료마다 다른 주석을 공통된 학습 인터페이스로 연결하는 과정이 핵심 구성 요소다.
모델과 평가 구성
사전 학습한 음악 생성 모델과 언어 모델을 통합해 음악 이해와 캡셔닝, 추론의 세 과제를 평가한다. 사람의 응답 동의도도 확인하지만 이런 동의가 개별 음악적 주장 전체의 무오류를 의미하지는 않는다.
질문의 초점과 답변
리듬을 물었는데 악기 이름만 나열한 답은 음악에 관해 말하고 있어도 요청을 충족하지 못한다. 음악의 근거가 맞는지와 지시의 초점에 맞게 답했는지를 함께 확인해야 한다.
관련 문서
MusiLingo / MU-LLaMA / OpenMU / MuChoMusic / HumMusQA / Song Describer