의미 있는 이산 목표
음향 세부를 모두 복원하는 것 외에 소리의 의미를 담은 이산 라벨을 예측할 수 있다. BEATs는 연속적인 일반 오디오에서 이런 학습 목표를 얻는 문제를 다룬다.
첫 학습과 다음 학습
처음에는 무작위 투영을 음향 토크나이저로 사용해 마스크와 라벨 예측으로 모델을 학습한다. 이후 사전 학습하거나 미세 조정한 모델의 의미 지식을 증류해 다음 반복의 토크나이저를 만든다.
서로 돕는 반복
토크나이저가 만든 목표로 오디오 표현을 개선하고 그 표현의 지식으로 토크나이저를 개선한다. 고정된 라벨을 한 번 만들고 끝내는 구성과는 다른 반복 학습이다.
표현의 목적
의미 중심의 이산 표현이라고 파형의 모든 세부를 재현하는 압축 코덱과 동일한 것은 아니다. 오디오 분류에 유용한 정보와 소리 복원에 필요한 정보는 겹치지만 학습 목표에 따라 보존 정도가 달라질 수 있다.
관련 문서
Audio-MAE / AudioSet / HuBERT / WavLM / vq-wav2vec / SoundStream