행렬로 표현한 이미지
이미지를 패치로 나누고 각 패치를 같은 크기의 특징 벡터로 변환한다. 패치 수 S와 채널 수 C를 갖는 S×C 행렬로 생각할 수 있다. 각 축을 따라 다른 MLP를 적용해 공간 정보와 특징 정보를 교환한다.
토큰과 채널 혼합
토큰 혼합은 각 채널에서 패치 위치 사이를 결합하고 같은 가중치를 채널들에 공유한다. 채널 혼합은 각 패치에서 채널 사이를 결합하고 위치들에 가중치를 공유한다. 주의처럼 입력마다 토큰 간 결합 행렬을 새로 만드는 방식과 구분된다.
배열 크기의 독립 예제
패치 4개와 채널 3개라면 행렬은 4×3이다. 토큰 혼합은 길이 4인 열 벡터 세 개를 처리하고 채널 혼합은 길이 3인 행 벡터 네 개를 처리한다. 중간 은닉 폭은 별도 선택이며 이 예의 4와 3이 MLP의 은닉 폭을 뜻하지는 않는다.
입력 크기와 학습 조건
토큰 혼합의 가중치는 패치 수에 의존하므로 다른 해상도를 사용하는 경우 그 구성을 확인해야 한다. 단순한 연산 구성이 적은 데이터에서의 좋은 성능을 자동으로 보장하지는 않는다. 데이터 규모와 규제, 사전 학습 조건을 맞춰 비교한다.