받아쓰기와 소리 설명
오디오 캡셔닝은 입력 소리가 어떤 내용인지 자유 문장으로 기술하는 과제다. 사람이 말한 단어를 문자로 옮기는 음성 인식과 다르다. Clotho는 소리 내용과 설명의 다양성을 고려해 구성됐다.
여러 문장으로 표현하기
소리는 Freesound에서 얻고 영어권 주석자의 설명을 수집한다. 하나의 소리에 다섯 설명을 제공하므로 같은 입력을 표현하는 문장이 여러 개일 수 있다. 문장이 정확히 한 문자열로 일치해야만 좋은 설명이라는 뜻은 아니다.
버전을 구분하는 규모
버전 2 소개는 6,974개 구간과 총 34,870개 설명을 제시한다. 설명은 8개에서 20개 단어 길이다. 초기 논문의 더 작은 자료 규모와 후속 버전 수치를 섞지 않아야 한다. 버전 2에서는 개발 자료를 늘리고 검증 집합을 추가했다.
설명의 관점 차이
물소리와 금속성 충돌음이 함께 있는 녹음은 물체의 행동을 중심으로 설명하거나 소리의 시간 변화를 중심으로 설명할 수 있다. 둘 다 실제 들리는 정보에 근거해야 한다. 그럴듯해도 녹음에 없는 시각 장면을 단정하면 설명의 범위를 벗어난다.
관련 문서
AudioSet / FSD50K / VGGSound / See Hear and Read / MUSIC-AVQA / SoundNet