자연어를 감독으로 쓰기
많은 녹음을 하나의 범주 레이블에 연결하는 제한된 감독 대신 소리 설명 문장을 활용한다. 두 인코더로 음향과 문장을 공통 공간에 표현하고 대응하는 관계를 대조 학습으로 배운다.
제로샷 범주 예측
추론 시 자연어로 범주를 제공하는 유연한 예측과 여러 후속 과제로의 일반화를 평가한다. 클래스 레이블로 별도 훈련하지 않은 조건이라는 뜻이며 모델이 소리·문장 자료를 전혀 학습하지 않았다는 뜻은 아니다.
인식과 문장 생성의 차이
설명 후보와 소리의 대응을 비교하는 기능은 자유로운 새 문장을 생성하는 기능과 다르다. CLAP 표현은 검색이나 후속 생성 모델의 안내에 활용될 수 있지만 그 자체를 모든 오디오 질문에 답하는 대화 모델과 같게 보아서는 안 된다.
후보 표현의 영향
같은 녹음에 대해 짧은 소리 이름과 자세한 사건 문장은 다른 의미 범위를 가질 수 있다. 제로샷 분류에서 제공하는 후보 문장에 따라 비교 대상도 달라진다. 결과를 해석할 때 음향 입력뿐 아니라 문장 후보의 구성도 확인해야 한다.
관련 문서
MuLan / WavText5K / RECAP 오디오 캡셔닝 / AudioCaps / WavCaps / Audio Flamingo