서로 다른 오디오 표현 연결
소리 사건과 비언어적 발화 정보를 이해하기 위해 언어 모델에 여러 오디오 표현을 통합한다. 전용 Audio Q-Former의 특징과 오디오 인코더 여러 층을 모은 표현 등을 이용한다.
이해 학습과 추론 조정
대규모 오디오·언어 자료로 미세 조정한 뒤 복잡한 소리 추론 지시를 담은 합성 CompA-R 자료로 지시 조정을 수행한다. 입력 소리의 사건 태그에서 얻은 상위 의미 근거를 부드러운 프롬프트로 추가하는 구성도 제시한다.
사람 주석 평가의 역할
CompA-R-test는 복잡한 추론이 필요한 열린 오디오 질의응답을 평가하기 위한 사람 주석 자료다. 자동 평가와 전문가 평가를 함께 사용한다. 합성 학습 답변과 별도로 검토한 평가 답변은 역할이 다르다.
근거가 부족한 추론
물 튀는 소리와 발걸음이 들린다고 장소가 특정 수영장이라고 확정할 수는 없다. 소리에서 관측한 사건, 그 관계에 대한 추론, 추가 확인이 필요한 추측을 구분해야 한다. 복잡한 답변도 실제 입력 근거에 맞는지 살필 필요가 있다.
관련 문서
LTU 오디오 이해 / SALMONN / Qwen2-Audio / AudioCaps / Clotho / WavCaps