오디오와 문장의 양방향 검색
자연어 질의로 관련 소리를 찾거나 소리를 입력해 관련 설명을 찾는 문제를 다룬다. WavText5K는 웹의 오디오·문장 쌍으로 구성한 추가 자료이며 한 종류의 캡셔닝 자료만으로 학습하는 조건을 넓혀 살핀다.
길이가 다른 소리의 표현
소리 내용은 짧은 구간부터 여러 분에 이르는 자료까지 길이가 다를 수 있다. 함께 제안한 검색 틀은 문장 인코더와 두 오디오 인코더, 대조 학습 목표를 사용해 언어와 음향을 연결하고 길이 변화에 대응하려 한다.
자료 추가 효과의 평가
WavText5K를 활용한 검색 성능을 다른 캡셔닝 자료를 사용하는 조건과 비교한다. AudioCaps와 Clotho에서 두 방향의 검색을 평가한다. 더 많은 자료를 넣는 효과와 자료의 내용·길이 분포가 주는 효과를 구분해 볼 필요가 있다.
길이와 관련성의 예
짧은 종소리 질의에 긴 거리 녹음이 검색됐을 때 일부 구간에만 종소리가 들어 있을 수 있다. 파일 전체가 관련된다는 판단과 어느 시간 구간이 관련되는지 찾는 문제는 다르다. 검색 결과의 단위를 확인해야 한다.
관련 문서
AudioCaps / Clotho / WavCaps / RECAP 오디오 캡셔닝 / AudioSet / See Hear and Read