연산자에서 토큰 혼합으로
푸리에 신경 연산자의 전역 처리를 시각 특징의 토큰 혼합에 활용한다. 푸리에 변환, 주파수 영역의 학습된 처리, 역변환을 연결한다. 토큰의 모든 쌍에 대해 주의 점수를 만드는 구조와 구분된다.
채널을 나눠 계산하기
채널 변환을 여러 블록으로 나눠 각 블록 안에서 처리한다. 채널 8개를 크기 2인 네 블록으로 나누면 한 선형 행렬의 원소 수는 4×2²=16개다. 전체 8×8 행렬의 64개와 다르다. 이는 한 변환의 독립 예제로 실제 전체 블록의 매개변수 수는 아니다.
계수 축소의 예
실수에 대한 소프트 임계화 Sλ(x)=sign(x)max(|x|−λ, 0)를 생각하자. λ=0.2이면 (−0.5, 0.1, 0.8)은 (−0.3, 0, 0.6)이 된다. 작은 값을 0으로 만들면서 큰 값도 줄인다. AFNO의 주파수 처리에서 사용하는 축소 원리를 보여 주는 단순 예제다.
해상도와 실제 비용
주파수에 걸친 가중치 공유와 블록 처리는 고해상도 입력의 비용을 제한하는 설계 요소다. 처리 가능하다는 것과 모든 해상도에서 정확도가 유지된다는 것은 다르다. 채널 수와 블록 수, 주파수 처리 범위를 포함해 실제 메모리와 실행 시간을 확인한다.
관련 문서
푸리에 신경 연산자 / GFNet / FNet / 소프트 임계화 / 푸리에 변환 / 트랜스포머