발화와 환경음을 함께 보기
같은 녹음에는 사람이 말한 내용과 주변 소리가 동시에 들어갈 수 있다. LTU-AS는 발화 문자, 말하는 방식의 준언어 정보, 비음성 사건을 동시에 인식하고 그 관계를 함께 이해하는 방향을 제시한다.
발화 지각 모듈로 확장
Whisper를 지각 모듈로, LLaMA를 추론 모듈로 통합한다. 기존 일반 음향 중심 접근에서 발화와 소리 사건을 함께 인식하도록 확장하며 Whisper와 TLTR를 오디오 인코더 구성에 활용한다.
공통 질문·답변 형태
여러 음향·발화 과제의 서로 다른 레이블을 소리·질문·답변 형태로 통합해 약 960만 Open-ASQA 자료를 구성한다. 동일한 형식으로 표현했다고 각 원래 과제의 난도와 감독 정보가 같아지는 것은 아니다.
내용과 사건의 조합
사람이 조용하다고 말하는 동안 뒤에서 큰 충돌음이 날 수 있다. 발화만 받아쓰면 주변 사건을 놓치고 환경음만 분류하면 말의 의미를 놓친다. 두 정보를 결합하더라도 발화가 사실인지까지 자동으로 보장되지는 않는다.
관련 문서
LTU 오디오 이해 / SALMONN / Qwen2-Audio / GAMA 오디오 이해 / AudioSet / AudioCaps