일부만 보고 복원하기
스펙트로그램을 패치로 나누고 많은 부분을 가린다. 인코더에는 가리지 않은 토큰만 전달하며 디코더에서 순서를 복원하고 마스크 토큰을 더해 원래 스펙트로그램을 재구성한다.
국소적인 상관관계
오디오 스펙트로그램은 가까운 시간과 주파수 대역에서 상관관계가 크다. 디코더에 국소 창 어텐션을 사용하는 구성이 이런 성질을 활용한다.
후속 분류에 활용하기
사전 학습한 인코더를 목표 자료에서 더 낮은 마스킹 비율로 미세 조정한다. 연구는 오디오 및 음성 분류 과제로 표현의 활용성을 평가한다.
복원과 이해의 구분
입력 스펙트로그램을 잘 복원하는 목표와 소리 사건을 정확히 분류하는 목표는 다르다. 복원이 학습 신호를 제공하더라도 후속 과제에서 유용한지 별도로 평가해야 한다.
관련 문서
마스크드 오토인코더 / AudioLDM 2 / BEATs / HuBERT / AudioSet / WavLM