주파수 영역의 처리
공간 특징에 이차원 푸리에 변환을 적용한다. 변환된 특징과 학습 가능한 전역 필터를 원소별로 곱하고 역변환해 공간 특징을 얻는다. 입력마다 토큰 쌍의 유사도로 주의 행렬을 생성하는 과정과 구분된다.
학습 필터의 역할
주파수 성분마다 서로 다른 가중치를 줄 수 있어 넓은 공간 범위의 결합을 표현한다. 변환 자체는 고정된 수학적 연산이지만 그 사이의 필터는 학습된다. 따라서 변환 결과의 실수부로 혼합하는 FNet과 처리 흐름이 다르다.
합과 차이 성분의 예
일차원 두 값 (3, 1)의 비정규화 DFT는 (4, 2)다. 설명용 필터 (1, 0)을 곱하고 역변환하면 (2, 2)가 된다. 합 성분은 남기고 차이 성분을 없앤 결과다. 실제 모형은 이차원 특징을 처리하며 항상 이 필터를 사용하는 것은 아니다.
계산 규모의 해석
FFT를 이용한 전역 필터 연산은 공간 위치 수에 대해 로그 선형 비용으로 계산할 수 있다. 다만 채널 변환과 나머지 블록의 비용도 포함해 모형 전체를 평가해야 한다. 입력 해상도와 실행 라이브러리를 맞춰 정확도 및 지연시간을 비교한다.
관련 문서
FNet / ConvMixer / PoolFormer / 푸리에 변환 / 고속 푸리에 변환 / 이미지 분류