원시 설명의 잡음
웹의 소리 구간과 설명은 대규모로 모을 수 있지만 원래 설명이 곧 학습에 적합한 캡션은 아니다. WavCaps는 이런 자료의 잡음을 걸러내고 설명을 변환하는 세 단계 처리 절차를 제시한다.
언어 모델을 쓰는 위치
ChatGPT를 원시 설명의 자동 필터링과 변환에 활용한다. 이는 모든 구간을 사람이 직접 듣고 새 문장을 작성한 데이터셋과 구분되는 약한 레이블 구성이다. 언어 모델이 문장을 다듬었다고 실제 음향 내용이 모두 검증되는 것은 아니다.
여러 자료를 함께 구성하기
Freesound, BBC Sound Effects, SoundBible 및 AudioSet의 강한 레이블 부분집합 등을 자료 출발점으로 사용한다. 캡셔닝과 검색 등 후속 오디오·언어 과제에서 활용 가능성을 평가한다. 자료별 녹음과 설명 특성이 서로 다를 수 있다.
문장 정제의 한계
파일 설명에 장소나 제작 메모가 섞여 있다면 소리를 설명하는 문장과 분리할 필요가 있다. 그러나 표현을 자연스럽게 바꾸는 일만으로 설명에 적힌 사건이 실제 녹음에 있는지 확정할 수는 없다. 유창성과 음향 근거는 별도로 살펴야 한다.
관련 문서
AudioCaps / Clotho / AudioSet / FSD50K / VGGSound / See Hear and Read