오디오와 문자의 충돌
녹음과 함께 제공한 문장이 서로 다르면 모델은 경쟁하는 정보 중 무엇을 사용할지 결정해야 한다. ALME는 이런 조건을 통제해 음향 정보의 내용과 입력 방식에 따른 영향력을 살핀다.
문자 우세 비율
TDR은 오디오를 따르도록 지시했는데도 충돌하는 문자를 따르는 빈도를 측정한다. 오디오를 그 전사문으로 바꾼 비교 조건을 두어 같은 내용이 문자 형태일 때의 판단과 구분한다.
표현 방식과 학습의 영향
연구는 네 오디오 언어 모델과 여덟 언어에서 질적인 공통점과 모델별 차이를 확인했다. 전사문이 손상됐다고 안내하는 방식과 명시적 전사를 요구하는 방식, 미세 조정 요소도 비교해 입력 간 판단의 변화를 분석한다.
단순한 듣기 실패와 구분
녹음에는 방 번호가 214라고 나오는데 함께 준 문장이 241이라고 썼다면 먼저 음성을 제대로 인식했는지 확인해야 한다. 인식은 맞았지만 답변이 문자를 따랐다면 소리의 인식과 충돌 해결에서 생긴 문제를 나눠 볼 수 있다.
관련 문서
SYAUDIO / HalluAudio / MISHAP-Bench / MMSU / MMAR / Qwen2-Audio