입력을 학습 목표로
증강한 두 입력의 차이나 시간 관계만을 신호로 삼는 것과 달리 원래 입력의 정보를 복원 목표로 사용한다. 스펙트로그램 패치 일부를 가리고 다시 만드는 과제를 구성한다.
적은 패치로 많은 영역 복원
인코더는 보이는 소수 패치에서 잠재 표현을 만든다. 이 표현이 가려진 여러 패치를 재구성하는 데 필요한 정보를 담도록 복원 오차를 최소화한다.
범용 표현의 평가
HEAR 2021의 여러 오디오 과제로 학습한 표현을 평가한다. 설계 선택이 성능에 미치는 영향과 시각화도 분석해 어떤 표현이 학습되는지 살핀다.
같은 방식과 다른 설계
스펙트로그램 마스킹이라는 큰 과제를 공유해도 모델별 구조와 학습 조건은 다를 수 있다. 이름이 비슷한 Audio-MAE와 결과를 비교할 때는 동일한 자료와 후속 평가 조건인지 확인해야 한다.