어휘와 자료의 두 부분
소리 사건을 나타내는 계층적 그래프와 YouTube 영상에서 얻은 사람 주석 소리 구간을 함께 제공한다. 사람·동물 소리, 악기와 장르, 일상 환경음 등을 포함한다. 어휘에 있는 모든 범주가 동일한 규모로 주석됐다는 뜻은 아니다.
사람이 확인한 소리 존재
주석자는 선정된 영상 구간에서 실제로 들리는 소리의 존재를 확인한다. 주석할 구간의 후보를 찾는 데에는 영상 메타데이터와 내용 기반 검색을 활용한다. 구간 선택 방법과 최종 사람 검증을 구분할 수 있다.
규모를 읽는 방법
공개 소개는 온톨로지 632개 범주와 주석된 소리 527개 범주를 별도로 제시한다. 2,084,320개는 10초 소리 구간의 초기 자료 규모다. 원 영상의 현재 접근 가능 수와 최초 공개 구간 수는 다른 개념이다.
함께 들리는 사건의 예
한 구간에서 대화와 식기 소리가 동시에 들릴 수 있다. 구간의 사건 존재 레이블은 각 소리의 정확한 시작·끝이나 개별 음원의 깨끗한 파형을 자동으로 제공하지 않는다. 후속 과제에서 필요한 정답의 세밀함을 따로 확인해야 한다.
관련 문서
VGGSound / Co-Separation / SoundNet / XDC / AVSBench / 주변음 예측 시각 학습