위키득계정 ↗
기술

MuseDiag

MuseDiag기술
대상 현상
음악 설명의 환각
분석 층위
다섯 지각 층위
평가 범위
공개 네 개와 비공개 다섯 모델
진단 방식
모순 기반 검증
MuseDiag는 오디오 모델이 음악에 없는 내용을 설명하는 현상을 진단하는 평가 틀이다. 소리 사건부터 감정까지 층위를 나누고 서로 다른 응답 방식에서 오류 양상을 비교한다.

근거 없는 음악 설명

문장이 자연스럽고 자신감 있어 보여도 입력 음악이 그 설명을 뒷받침하지 않을 수 있다. MuseDiag는 소리 사건과 시간적 성질, 조성적 속성, 양식과 감정이라는 다섯 층위로 지각 근거의 실패를 분석한다.

응답 방식에 따른 차이

아홉 모델을 여러 평가 방식으로 비교하며 보컬 오인과 조성 지각의 차이 등을 살핀다. 확인 질문에 답하는 방식과 자유롭게 음악을 설명하는 방식에서는 같은 모델의 취약점도 다르게 드러날 수 있다.

완화 방법의 한계

연구는 추가 학습 없이 적용하는 ADD-M과 TPA를 제시한다. 탐색 질문에서의 개선이 자유 생성으로 이어지지 않는 경우가 있으며 효과도 모델에 따라 다르다. 한 방식의 성적만으로 음악 설명 전체가 개선됐다고 판단하기 어렵다.

관측과 원인의 구분

악기가 들리지 않는 구간을 두고 특정 악기를 언급했다면 그 주장의 음향 근거를 확인해야 한다. 긍정 응답 편향이나 생성 방식과 오류의 연관성이 보여도 그것만으로 단일 원인을 확정할 수는 없다.

관련 문서

OpenMU / MU-LLaMA / MERT / Audio Flamingo / MMAU / MMAR