소리를 이해하는 언어 모델
발화의 문자 전사 외에도 일반 소리와 비언어적 발화 정보를 이해하도록 언어 모델을 확장한다. 오디오 이해, 처음 보는 과제로의 적응, 대화 능력을 함께 다루는 모델로 제안됐다.
예시와 검색의 활용
문맥 내 학습과 검색을 이용해 학습에서 보지 않은 과제에 빠르게 적응하는 능력을 다룬다. 새로운 예시를 문맥으로 제공하는 일과 모델 매개변수를 새로 훈련하는 일은 구별된다.
대화와 학습 전략
여러 차례 대화에서 소리에 관해 묻고 답하는 능력을 위해 훈련 기법과 구조·자료 전략을 제시한다. 다양한 오디오 이해 과제로 평가한다. 한 번의 분류 정확도만으로 대화 중의 문맥 유지까지 모두 설명할 수는 없다.
후속 질문의 예
처음에는 어떤 소리가 들리는지 묻고 다음에는 그중 반복되는 소리가 무엇인지 물을 수 있다. 두 번째 질문은 앞선 답변과 같은 녹음을 함께 참조해야 한다. 자연스러운 대화와 실제 소리 근거의 유지는 별도 확인 요소다.
관련 문서
SALMONN / LTU 오디오 이해 / Qwen2-Audio / GAMA 오디오 이해 / AudioCaps / Clotho