학습 때 패치 줄이기
스펙트로그램 패치를 투영하고 위치 정보를 더한 뒤 일부 토큰을 무작위로 제거한다. 어텐션이 처리할 시퀀스 길이를 줄여 계산과 메모리 부담을 낮추고 정규화 효과도 얻으려는 구성이다.
구조적 제거와 비구조적 제거
비구조적 Patchout은 위치와 무관하게 패치를 선택한다. 구조적 Patchout은 시간이나 주파수 방향의 행 또는 열에 해당하는 패치들을 제거한다.
학습과 추론 구분
패치를 제거하는 것은 학습 과정의 기법이며 추론에서는 전체 입력 시퀀스를 사용한다. 시간과 주파수의 위치 인코딩을 나누어 길이가 다른 오디오의 처리도 쉽게 구성한다.
속도 비교의 범위
학습 토큰 수를 줄였다는 결과를 최종 추론 비용이 같은 비율로 줄었다고 해석하면 안 된다. 학습 메모리, 학습 시간, 추론 입력과 예측 성능을 각각 비교해야 한다.