라벨 의존성 줄이기
AST의 학습에 필요한 많은 라벨 자료와 복잡한 지도 사전 학습 과정을 줄이려는 접근이다. 라벨 없는 오디오에서 스펙트로그램 패치를 가리는 과제로 표현을 배운다.
판별과 생성의 결합
가려진 패치에 대해 판별적인 목표와 생성적인 목표를 함께 학습한다. 한 종류의 복원 손실만 사용하는 방식과 구분되는 사전 학습 구성이다.
후속 과제
오디오 사건 분류, 키워드 탐지, 감정 인식, 화자 식별에서 사전 학습한 모델을 평가한다. 음성과 일반 오디오가 요구하는 정보가 다를 수 있으므로 과제별 결과를 살펴야 한다.
자기 지도라는 범위
사전 학습에 라벨 없는 오디오를 사용한다는 사실과 후속 분류 학습에서 정답 라벨을 전혀 사용하지 않는다는 주장은 다르다. 전체 과정에서 어느 단계에 어떤 정보가 쓰이는지 구분해야 한다.
관련 문서
AST 오디오 분류 / Audio-MAE / MSM-MAE / BEATs / HuBERT / AudioSet