일반적인 청각 입력 다루기
텍스트 기반 대형 언어 모델과 발화·오디오 인코더를 하나의 모델에 통합한다. 말소리를 받아쓰는 기능만이 아니라 음향 사건과 음악 등 일반적인 청각 정보를 처리하는 방향을 연구한다.
서로 다른 후속 과제
학습에 사용한 과제로 음성 인식과 번역, 음향 정보에 근거한 질문 답변, 감정 인식, 화자 검증, 음악·오디오 캡셔닝 등을 평가한다. 같은 입력을 쓰더라도 출력이 요구하는 정보가 서로 다를 수 있다.
보지 않은 능력의 활성화
학습에서 직접 다루지 않은 언어로의 번역이나 발화·음향 공동 추론 등도 살핀다. 이런 교차 모달 능력을 활성화하기 위한 소수 예시 조정 방법을 제안한다. 관찰된 전이 결과가 모든 새로운 언어나 과제에 대한 보장은 아니다.
발화 내용과 배경음의 예
누군가 문을 닫는다고 말하는 소리와 실제 문 닫는 소리가 함께 또는 따로 있을 수 있다. 발화의 의미와 주변 사건을 구분하지 못하면 답변이 혼동될 수 있다. 일반 청각 이해에서는 두 정보를 연결하면서도 각각의 근거를 유지해야 한다.
관련 문서
SoundNet / AudioCaps / Clotho / See Hear and Read / WavCaps / MUSIC-AVQA