범주에서 문장으로
AudioSet의 소리 자료를 바탕으로 사람이 작성한 설명을 수집한다. 범주 레이블과 달리 문장은 사건의 성질이나 관계를 표현할 수 있다. 단순히 소리 이름을 나열하는 일과 자유 문장으로 내용을 설명하는 일을 구분한다.
소리와 설명의 충실도
초기 연구는 약 4만 6천 구간과 사람 작성 문장 쌍을 제시하고 설명이 입력 소리에 얼마나 충실한지 조사한다. 이 수치는 초기 논문의 규모이며 이후 확장판과 동일한 자료 수를 뜻하지 않는다.
표현과 모델의 평가
어떤 오디오 표현과 캡셔닝 모델이 효과적인지 실험하고 하향식 다중 스케일 인코더와 정렬된 의미 어텐션을 제안한다. 데이터셋 자체의 특성과 특정 기준 모델의 구성은 나눠 볼 수 있다.
시간 관계를 설명하는 예
짧은 신호음 뒤에 문 닫는 소리가 들리는 경우 사건 이름 두 개만 나열하면 순서 정보가 빠질 수 있다. 자연어 설명은 실제 들리는 순서와 성질을 담을 수 있지만 녹음에 없는 원인이나 장면을 임의로 보태서는 안 된다.
관련 문서
AudioSet / Clotho / FSD50K / VGGSound / See Hear and Read / SoundNet