여러 자료의 소리·문장 쌍
여러 자료에서 모은 633,526개 오디오·문장 쌍을 공개하고 다양한 오디오·문장 인코더 조합을 비교한다. 자료 이름의 630K는 근사적인 규모를 나타내며 정확한 쌍 수와 표현이 다를 수 있다.
길이가 다른 입력의 특징 융합
특징 융합 기제를 도입해 길이가 다른 오디오 입력을 처리하는 능력을 보완한다. 짧은 음향과 긴 음향을 같은 고정 구간으로만 취급할 때 생기는 한계를 다루는 구성이다.
키워드에서 캡션으로 증강
키워드·캡션 증강을 모델 설계에 포함해 자연어 감독의 활용을 높이려 한다. 문장에서 소리를 찾는 검색과 제로샷·지도 오디오 분류를 평가한다. 키워드를 문장으로 바꿨다고 실제 소리의 세부 정보까지 새로 생기는 것은 아니다.
전체와 일부의 예
긴 녹음의 한 부분에만 벨소리가 들어 있다면 어느 시간 범위의 특징을 모으는지가 검색 결과에 영향을 줄 수 있다. 길이 처리와 설명의 관련성을 함께 보아야 하며 자료량만으로 모든 소리 구간의 대응 품질을 판단할 수는 없다.
관련 문서
CLAP / WavText5K / RECAP 오디오 캡셔닝 / Audio Flamingo / WavCaps / AudioSet