소리 사건 인식의 자료
소리 사건 인식 모델을 비교하기 위한 대규모 자료로 제안됐다. 다양한 Freesound 구간에 사람이 레이블을 붙이고 추가 메타데이터도 제공한다. 한 특정 장면만을 다루는 자료와 달리 여러 소리 범주를 폭넓게 포함한다.
범주의 출처와 구간의 출처
범주 체계는 AudioSet 온톨로지에서 가져오지만 실제 오디오 구간은 Freesound에서 얻는다. 같은 범주 체계를 이용한다고 두 데이터셋의 녹음 조건과 자료 분포까지 같아지는 것은 아니다.
개발과 평가의 구분
개발용과 평가용 집합을 제공하고 소리 사건 분류 기준 모델을 평가한다. 연구는 Freesound 자료의 분할에서 고려해야 할 요인과 한계도 다룬다. 구간 수가 크다는 사실만으로 평가 자료와 학습 자료의 독립성이 보장되지는 않는다.
유사한 녹음의 예
긴 녹음에서 잘라낸 두 구간은 배경이나 장비 특성을 공유할 수 있다. 이런 구간을 서로 다른 집합에 넣으면 새로운 환경에 대한 일반화와 비슷한 녹음을 다시 알아보는 효과가 섞일 수 있다. 자료 분할의 기준을 확인할 이유다.
관련 문서
AudioSet / VGGSound / SoundNet / 주변음 예측 시각 학습 / XDC / See Hear and Read