두 축의 정보 교환
이미지를 패치 벡터의 배열로 바꾼 다음 패치 위치끼리 정보를 섞는다. 이 공간 선형 변환은 채널마다 독립적으로 같은 가중치를 사용한다. 다음 부분에서는 각 패치의 채널들을 두 층의 순방향 신경망으로 변환한다.
다른 혼합 모형과의 차이
MLP-Mixer와 마찬가지로 토큰 축과 채널 축을 구분하지만 ResMLP의 패치 상호작용은 선형 층으로 구성한다. 입력 내용에서 질의와 키의 유사도를 구해 가중치를 만드는 자기 주의와도 구별된다.
작은 선형 변환 예
한 채널의 두 패치 값이 2와 4라고 하자. 독립 예제의 변환 행렬을 [[1, 0], [0.5, 0.5]]로 정하면 결과는 2와 3이다. 원래 값에 이 결과를 더하는 잔차 계산은 4와 7이 된다. 실제 블록의 추가 연산은 생략한 예제다.
학습 방식의 중요성
구조의 단순함과 학습 절차의 단순함은 다르다. 데이터 증강과 선택적인 지식 증류를 활용할 수 있다. 정확도 비교에서는 교사 사용 여부와 데이터, 학습 기간까지 확인해야 하며 매개변수 수가 같다는 조건만으로 공정한 비교가 완성되지는 않는다.