긴 소리에서 필요한 이해
긴 녹음에는 여러 사건과 변화가 이어질 수 있다. LongAudio는 이런 자료에 대한 설명과 질문 답변을 학습하기 위해 제안됐다. 짧은 구간에서 한 사건을 맞히는 문제와 전체 문맥을 이해하는 문제는 다르다.
LongAudioBench와의 구분
LongAudio는 학습용 자료이고 LongAudioBench는 긴 오디오 이해를 평가하기 위한 전문가 주석 벤치마크다. 자료에 적응시킨 모델이 전체 구간의 정보를 얼마나 활용하는지 평가한다. 학습 집합과 평가 집합의 역할을 구분해야 한다.
Audio Flamingo 2의 구성
함께 제안한 AF2는 전용 CLAP 모델, 세밀한 음향 추론을 위한 합성 질의응답, 다단계 교육과정 학습을 활용한다. LongAudio로 추가 조정해 긴 소리의 캡셔닝과 질의응답 능력을 살핀다.
먼 사건 사이의 관계
앞부분의 신호음과 몇 분 뒤의 기계 정지가 관련되는지 묻는 경우 한 짧은 구간만 들어서는 답하기 어려울 수 있다. 다만 시간적으로 순서가 있다는 사실만으로 두 사건의 인과가 확정되지는 않는다. 관측 범위와 추론을 구분해야 한다.
관련 문서
Audio Flamingo / AudioCaps / Clotho / WavCaps / GAMA 오디오 이해 / Qwen2-Audio