원본 짝 대신 분포 비교
평가 출력의 각 클립마다 같은 내용의 깨끗한 원본을 요구하지 않는다. 대신 깨끗한 기준 음악 묶음과 출력 묶음에서 임베딩을 얻고 그 분포의 차이를 비교한다.
계산의 개요
원래 구성은 VGGish 임베딩의 평균과 공분산으로 다변량 가우시안을 추정한다. 두 가우시안 사이의 프레셰 거리를 계산해 음향 분포가 얼마나 다른지 나타낸다.
통제할 조건
기준 음악 묶음과 평가 입력을 고정해야 모델 비교를 해석하기 쉽다. 임베딩 모델이나 자료의 구성, 표본 수가 달라지면 점수의 의미도 바뀔 수 있어 숫자만 비교하면 안 된다.
지표의 한계
원래 구현은 짧은 창의 임베딩을 사용하므로 곡 전체의 긴 시간 구조를 충분히 파악하지 못한다. 분포가 비슷하다고 모든 개별 클립이 좋거나 문장 조건을 정확히 따른다고 단정할 수도 없다.
관련 문서
ViSQOL v3 / MusicGen / MusicLM / AudioLDM / GANSynth / SongEval