두 가지 입력 방식
음성 대화 방식에서는 사용자가 문자를 입력하지 않고 발화로 상호작용한다. 오디오 분석 방식에서는 소리와 문장 지시를 함께 제공할 수 있다. 보고서는 두 방식을 전환하는 별도 시스템 프롬프트를 사용하지 않는다고 설명한다.
자연어로 과제 나타내기
복잡한 계층 태그 대신 자연어 프롬프트로 자료와 과제를 표현해 사전 학습 절차를 단순화하고 자료량을 늘린다. 지시 이행 능력을 강화하며 발화·환경음·음악 등 다양한 입력을 다루는 방향이다.
혼합된 음향의 지시 이해
여러 사람의 대화와 주변 소리, 음성 명령이 함께 있는 입력에서도 명령을 이해하고 응답하는 사례를 다룬다. DPO로 사실성과 원하는 행동의 준수를 조정하고 AIR-Bench 등으로 평가한다. 모든 소리를 명령으로 해석하는 것과는 구분해야 한다.
명령과 인용된 발화
녹음 속 인물이 소리를 설명하는 말을 하는 경우와 사용자가 모델에 분석을 지시하는 경우는 다를 수 있다. 실제 내용과 요청의 역할을 구분하지 못하면 답변이 엉뚱해질 수 있다. 입력을 듣는 능력과 적절한 지시를 따르는 능력을 함께 살필 이유다.
관련 문서
SALMONN / LTU 오디오 이해 / AudioCaps / Clotho / MUSIC-AVQA / See Hear and Read