자료와 모델의 동시 확장
환경음 생성은 자료 부족, 설명 품질, 모델 구조의 확장성에 영향을 받는다. 이 연구는 큰 생성 모델만 만드는 대신 자료 수집과 캡션 생성도 함께 다룬다.
AutoCap의 캡셔닝
AutoCap은 Q-Former 모듈과 오디오 메타데이터를 이용하는 자동 캡셔닝 모델이다. 기존 음향 자료의 설명을 생성해 후속 생성 모델의 학습에 사용할 수 있도록 한다. 캡션 생성과 오디오 생성은 출력 방향이 다르다.
GenAu와 자료 규모
GenAu는 최대 12억 5천만 매개변수 규모로 확장한 트랜스포머 기반 생성 구조다. 합성 설명을 이용한 자료 확대와 모델 크기 확대의 효과를 살핀다. 논문 최신판은 AutoReCap-XL을 4,700만 구간 이상의 환경음·문장 자료로 소개한다.
규모 비교의 조건
자료가 많아졌을 때의 효과를 비교하려면 모델 크기와 평가 조건도 살펴야 한다. 더 유창한 캡션과 더 정확한 소리·문장 대응은 같은 지표가 아니며 생성 결과의 품질과 조건 충실도 역시 나눠 평가할 수 있다.
관련 문서
AF-AudioSet / WavCaps / AudioCaps / Clotho / RECAP 오디오 캡셔닝 / VGGSound