표본 수의 영향
평가 자료 수가 다르면 같은 지표에서도 편향이 생겨 모델 비교가 흔들릴 수 있다. 이 연구는 점수를 무한 표본 크기 쪽으로 외삽해 표본 수에 따른 편향을 줄이는 방법을 제안한다.
임베딩과 기준 자료 선택
음악적 성질을 포착하지 못하는 임베딩이나 낮은 품질의 기준 묶음은 평가를 어렵게 한다. MusicCaps 라벨 및 청취 실험과 비교해 청감과 관련성이 높은 조합을 탐색한다.
곡별 분석
곡별 FAD가 특이한 샘플을 찾고 음악 묶음과 생성 모델의 품질을 예측하는 데 유용할 가능성을 제시한다. 전체 묶음 점수와 개별 곡의 분석 목적을 구분할 필요가 있다.
비교 실험 설계
가상의 두 모델을 비교하면서 한쪽만 더 많은 곡을 평가하면 점수 차이의 원인이 모호해질 수 있다. 자료 수와 기준 묶음, 임베딩을 통제한 뒤 차이를 해석하는 편이 타당하다.
관련 문서
프레셰 오디오 거리 / MusicGen / MusicLM / MusicBERT / SongEval / ViSQOL v3