범주 분류를 넘어서는 질문
소리를 정해진 레이블에 대응시키는 방식은 세부 설명이나 함의를 묻는 질문을 직접 다루기 어렵다. LTU는 오디오를 지각하는 능력과 언어 모델의 추론을 연결하려는 접근이다.
다양한 질문·답변 자료
OpenAQA-5M은 약 190만 개의 닫힌 질문과 370만 개의 열린 질문 형태 소리·질문·답변 묶음으로 구성된다. 자료 이름에 있는 숫자와 세부 질문 수를 기계적으로 동일한 수치로 읽지 않아야 한다.
지각에서 이해로 학습하기
자기회귀 학습 틀과 지각에서 이해로 진행하는 교육과정을 사용한다. 분류와 캡셔닝 같은 기존 과제 및 일반화, 음향 추론 능력을 평가한다. 특정 실험에서 나온 답변이 모든 실제 장면의 의미를 보장하는 것은 아니다.
관측과 추론의 차이
연속적인 금속성 소리가 들린다는 관측과 어떤 기계를 수리해야 한다는 판단은 근거 수준이 다르다. 소리를 설명하는 능력과 행동의 필요성을 결정하는 능력을 구분하면 오디오 추론 결과의 범위를 이해하기 쉽다.
관련 문서
SALMONN / AudioSet / AudioCaps / Clotho / MUSIC-AVQA / See Hear and Read