설명 품질과 생성 학습
문장으로 소리를 생성하는 모델에는 양질의 소리·설명 쌍이 필요하다. 텍스트 전용 언어 모델로 설명을 늘리는 방식은 규모와 소리·문장 일관성에 한계가 있을 수 있다. 이 연구는 오디오 언어 모델을 이용하는 캡셔닝 절차를 제안한다.
소리를 이용한 합성 설명
오디오에 대한 정확하고 다양한 캡션을 대규모로 생성하는 절차로 AudioSet용 합성 설명 자료를 만든다. 텍스트만 고쳐 쓰는 것과 실제 오디오 정보를 사용하는 생성은 입력 조건이 다르다.
후속 생성 모델의 평가
합성 설명으로 문장 기반 오디오 모델을 사전 학습했을 때의 이점을 AudioCaps와 MusicCaps에서 평가한다. 캡션 자체가 그럴듯한지와 그 자료로 학습한 생성 모델의 품질이 나아지는지는 서로 다른 평가 관점이다.
구체성과 근거의 균형
녹음에서 짧은 클릭만 들리는데 정교한 기계 동작을 길게 묘사하면 문장은 구체적이어도 음향 근거가 부족할 수 있다. 학습용 설명은 다양성뿐 아니라 실제 소리에서 확인할 수 있는 정보 범위도 중요하다.
관련 문서
AudioSet / AudioCaps / WavCaps / Clotho / ZerAuCap / RECAP 오디오 캡셔닝