무엇이 들렸는지 먼저 확인하기
공간 추론의 답이 맞더라도 근거로 삼은 소리 사건을 잘못 알았다면 우연히 정답을 고른 것일 수 있다. RMS-AQA는 먼저 들리는 사건을 확인하고 이어 그 근거로 복잡한 시공간 질문을 다루게 한다.
실제 녹음과 합성 자료
실제 환경의 1차 앰비소닉스 녹음과 측정한 공간 임펄스 응답으로 생성한 합성 자료를 결합한다. 실제 공간의 음향과 합성 조건의 차이를 함께 살필 수 있는 구성이다.
공간 정보의 연결
가중치를 고정한 오디오 언어 모델에 앰비소닉스 정보를 연결하는 가벼운 공간 플러그인도 제공한다. 연구는 동시 음원과 먼 거리, 합성과 실제 녹음 사이의 분포 차이를 주요 어려움으로 분석한다.
방향과 사건의 예
왼쪽에서 물 흐르는 소리가 나고 오른쪽에서 물체가 떨어졌다면 소리의 종류뿐 아니라 위치와 순서도 연결해야 한다. 하나의 사건을 놓쳤다면 이후 공간 관계 추론이 맞는 이유도 다시 점검해야 한다.
관련 문서
ReasonAudio / ART 오디오 추론 평가 / SSEU-Bench / MMAR / HalluAudio / AudioBench