입력이 많다고 정확한 것은 아니다
영상과 소리가 함께 주어져도 모델의 설명이 실제 입력과 맞지 않을 수 있다. CMM은 여러 모달리티를 통합하는 모델에서 이런 환각이 어떻게 나타나는지 평가하는 연구다.
한 정보에 치우치는 문제
학습에서 얻은 단일 모달리티의 사전 지식에 지나치게 의존하면 현재 입력을 충분히 확인하지 않을 수 있다. 입력이 추가됐다는 사실만으로 그 정보가 균형 있게 사용됐다고 판단하기 어렵다.
잘못 연결한 단서
모달리티 사이에 실제로 성립하지 않는 상관관계를 적용하는 것도 분석 대상이다. 화면에 보이는 물체가 소리의 원천일 것이라고 단정하면 각각의 관측은 맞더라도 둘을 연결한 결론이 틀릴 수 있다.
상관과 증거를 구분하기
피아노가 있는 화면에 기타 녹음이 재생된다면 보이는 악기만으로 들리는 악기를 정할 수 없다. 어떤 주장이 영상에 근거하고 어떤 주장이 소리에 근거하는지 나누면 통합 과정의 오류를 확인하기 쉽다.
관련 문서
ALME / AHa-Bench / HalluAudio / MISHAP-Bench / MuseDiag / MMAR-Rubrics