음악과 설명의 정렬
음악 분야에서 자연어를 검색과 상호작용의 연결 고리로 쓰기 위해 제안됐다. 음악 오디오와 설명 문장 쌍을 정렬하는 두 인코더 구조로 멀티모달 임베딩을 학습한다.
두 방향의 검색
설명에 맞는 음악을 찾는 것과 음악에 맞는 문장을 찾는 것을 함께 평가한다. 문장 기반 검색으로 표현할 수 있는 과제로 전이하는 방향을 다룬다. 질의와 후보가 무엇인지에 따라 평가 단위가 달라진다.
제로샷 장르와 태깅
두 공개 자료에서 장르 분류와 자동 태깅의 제로샷 전이를 살핀다. 음악과 문장의 정렬이 새로운 태그 표현에도 유용한지 평가하는 조건이다. 모든 장르나 주관적 묘사를 정확히 이해한다는 보장과는 다르다.
비슷한 설명의 예
밝은 피아노 연주와 빠른 피아노 연주는 일부 곡에서 함께 맞을 수 있지만 같은 뜻은 아니다. 검색 모델은 문장의 속성 차이와 음향의 차이를 연결해야 한다. 단순히 악기 이름이 같다는 이유만으로 모든 질의가 동일해지는 것은 아니다.