과제 출력을 문장으로 통일하기
소리 분류뿐 아니라 캡셔닝과 질의응답 같은 열린 과제를 하나의 생성 형식으로 다룬다. 오디오 녹음과 문장을 입력받고 자유로운 문장을 출력하며 과제마다 별도의 출력 구조를 추가하는 부담을 줄이려 한다.
연속 임베딩의 접두 표현
오디오 인코더는 녹음을 연속 임베딩 시퀀스로 만들고 문장 인코더도 입력 문장을 표현한다. 두 시퀀스를 접두 표현으로 결합해 사전 학습한 고정 언어 모델을 안내한다. 접두 표현은 사람이 읽는 문장 문자열과는 다를 수 있다.
닫힌 과제와 열린 과제
추가 과제별 미세 조정이나 구조 확장 없이 닫힌 과제와 열린 과제를 수행하는 통합 구성을 평가한다. 답변이 문장이라는 공통점이 있어도 분류의 정답 범주와 설명 생성의 품질 기준은 다르다.
범주 답변과 설명의 예
같은 녹음에 대해 소리 종류를 묻는 질문에는 종이라는 짧은 답이 적절할 수 있다. 변화 양상을 묻는 질문에는 반복 횟수나 소리가 약해지는 양상 등 다른 정보가 필요하다. 출력 형식 통합과 필요한 정보의 동일성은 별개다.
관련 문서
LTU 오디오 이해 / SALMONN / Qwen2-Audio / AudioCaps / Clotho / Audio Flamingo