구조와 의미의 결합
음악을 이해하려면 들리는 단어뿐 아니라 곡의 조직과 음악적 속성을 함께 판단해야 할 수 있다. BASS는 구조 분할과 가사 전사, 음악학적 분석과 아티스트 협업이라는 네 큰 범주로 이를 평가한다.
평가 자료의 범위
여러 장르의 고유 곡 1993개와 138시간 이상의 음악에서 12개 과제와 질문 2658개를 구성한다. 실제 상황의 음악학적 지식과 추론을 확인하는 자료다.
과제별 성능 차이
14개 멀티모달 모델의 비교에서 가사 전사와 구조 분할 및 아티스트 협업 같은 높은 수준의 추론 사이에 차이가 나타났다. 단어 인식의 성적이 음악 구조와 보컬 속성의 추론을 그대로 대표하지는 않는다.
가사와 형식의 예
반복되는 가사를 정확히 옮겨도 그 구간이 곡에서 어떤 역할을 하는지는 별도로 판단해야 한다. 발화된 단어와 앞뒤 음악의 구성 관계를 함께 확인하면 전사와 구조 이해를 구분할 수 있다.
관련 문서
MuChoMusic / HumMusQA / MusTBench / GaMMA 음악 이해 / LLark / MARBLE 음악 표현 평가