연산과 전체 구조
MetaFormer는 특정 주의 연산을 고정하지 않고 토큰 혼합과 채널 변환, 정규화와 잔차 연결을 구분하는 구조 관점이다. PoolFormer는 그 안의 토큰 혼합을 단순한 공간 풀링으로 구성한 사례다.
풀링을 이용한 혼합
이웃의 평균값에서 현재 위치의 값을 뺀 양을 혼합 분기에서 사용한다. 보폭 1의 공간 풀링은 지역 정보를 섞으면서 해당 블록의 공간 크기를 유지할 수 있다. 모형의 단계 전환에서는 별도로 해상도를 줄인다.
한 위치의 독립 예제
세 값 (2, 8, 5)의 이웃 평균은 5다. 현재 값이 가운데의 8이라면 평균에서 자신을 뺀 혼합값은 −3이다. 이 값을 그대로 잔차로 더하면 5가 된다. 정규화와 학습 계수 등을 생략한 일차원 설명이며 실제 전체 블록이 단순 평균과 같다는 뜻은 아니다.
학습 매개변수의 범위
풀링 혼합 자체에 학습 가중치가 없더라도 채널 변환과 다른 층에는 학습 매개변수가 있다. 따라서 PoolFormer 전체가 매개변수 없는 모형인 것은 아니다. 특정 벤치마크의 결과를 모든 과제에서 주의 연산이 불필요하다는 결론으로 확대하지 않고 구조와 학습 조건을 함께 비교한다.