추가 캡셔닝 훈련 없이 생성하기
환경음이나 행동에서 발생한 일반적인 소리를 문장으로 요약하는 문제를 다룬다. 이미 학습된 모델들을 활용하며 해당 캡셔닝 과제를 위한 추가 학습 없이 수행하는 제로샷 설정을 제시한다. 모든 모델이 학습된 적 없다는 뜻은 아니다.
언어 모델을 음향으로 안내
문장 생성에는 사전 학습 언어 모델을 사용하고 오디오·언어 모델로 실제 소리 내용을 설명하도록 안내한다. 문장의 자연스러움과 입력 음향에 대한 관련성을 함께 다루는 구성이다.
문맥 키워드의 역할
오디오 문맥 키워드로 언어 모델이 소리와 폭넓게 관련된 문장을 생성하도록 프롬프트를 구성한다. AudioCaps와 Clotho에서 제로샷 캡셔닝을 평가한다. 문맥 키워드만으로 개별 녹음의 모든 사건을 확정할 수는 없다.
문맥과 실제 사건의 예
교통이라는 문맥이 주어져도 실제 녹음이 정지한 차량의 경고음인지 달리는 차의 소리인지는 다르다. 관련된 단어를 생성하는 능력과 들리는 사건을 정확히 설명하는 능력은 별도로 확인해야 한다.
관련 문서
RECAP 오디오 캡셔닝 / AudioCaps / Clotho / WavCaps / WavText5K / See Hear and Read