음악에 자연어 설명 연결하기
음악을 듣고 사람이 쓴 설명은 모델이 만든 문장이 청취 내용과 어떻게 대응하는지 확인하는 기준이 될 수 있다. Song Describer는 이런 음악 오디오와 설명의 쌍을 크라우드소싱으로 모은 평가 자료다.
자료의 구성
706개 음악 녹음에 사람이 직접 작성한 약 1100개 자연어 설명을 연결한다. 음악과 언어 모델을 평가하기 위한 자료이며 실제 녹음과 설명을 함께 다룬다.
세 평가 과제
음악 캡셔닝과 텍스트 기반 음악 생성, 음악 언어 검색에 사용한 모델 비교를 제시한다. 다른 데이터셋에서의 평가를 강조해 한 자료의 표현 방식에만 익숙한 모델인지 살필 수 있게 한다.
다른 설명 방식의 영향
한 자료의 설명이 악기 중심이고 다른 자료가 분위기 중심이라면 같은 음악을 다루어도 모델 성적이 달라질 수 있다. 음악 이해 능력과 설명 형식에 대한 적응을 구분하려면 자료 사이의 평가가 도움이 된다.