소리 없이 맞히는 현상
모델이 오디오를 처리하지 않고 문자 정보만으로 정답을 찾는 경우가 있다. AudioMCQ 연구는 이런 현상을 오디오 기여의 관점에서 분석하고 데이터의 기여 정도를 구분하는 필터를 제안한다.
선택형 질문과 추론 주석
약 57만 1000개 샘플에 두 종류의 추론 주석을 제공한다. 자료는 오디오의 기여가 약한 부분과 강한 부분으로 나뉘어 여러 후속 학습 단계에 어떻게 배치할지 연구하는 기반이 된다.
두 학습 흐름
Weak-to-Strong은 기여가 약한 자료로 지도 미세 조정을 한 뒤 강한 자료로 강화 학습한다. Mixed-to-Strong은 혼합 자료로 미세 조정한 뒤 강한 자료로 강화 학습한다. 학습 순서와 자료의 성격을 함께 조절하는 접근이다.
자료 선택의 의미
정답이 질문의 상식만으로 유추되는 문제와 실제 녹음의 순서를 들어야 하는 문제는 요구 능력이 다르다. 같은 양의 자료라도 학습 단계에 어떤 문제를 배치했는지에 따라 배우는 판단 기준이 달라질 수 있다.
관련 문서
ADQA-Bench / DCASE 2025 오디오 질의응답 / MMAU / MMAR / MMSU / Long Listening Thoughts