문자 밖의 음향 정보
같은 말을 해도 감정과 화자, 주변 소음과 공간의 울림은 다를 수 있다. SALMon은 이런 음향적 측면에 대한 모델의 인식을 폭넓게 평가하기 위해 제안됐다.
일관성과 내용의 부합
배경 소음과 감정, 화자 정체성, 공간 임펄스 응답을 다룬다. 해당 요소가 일관되는지뿐 아니라 발화한 내용과 얼마나 맞는지도 평가해 단순한 전사 정확도와 다른 관점을 제공한다.
샘플 점수의 비교
모델이 올바른 샘플에 잘못된 샘플보다 높은 점수를 주는지 측정한다. 긴 자연어 답변을 생성하고 다시 채점하는 방식과 구별되며 해당 음향 조건을 모델이 얼마나 그럴듯하게 보는지 살핀다.
같은 화자의 연속성
한 사람이 계속 말하는 상황에서 문장 중간부터 목소리가 갑자기 바뀌었다면 내용이 이어져도 음향적 일관성은 달라질 수 있다. 의미의 자연스러움과 화자 및 공간의 연속성을 나눠 확인할 수 있다.
관련 문서
AudioBench / MMSU / SSEU-Bench / ART 오디오 추론 평가 / ALME / HalluAudio