어텐션을 단순화하는 구성
전체 토큰 쌍의 유사도 행렬을 계산하는 대신 합성곱 특징을 값 표현에 곱한다. 선형 변환과 채널별 합성곱을 사용해 입력에 따른 공간 변조를 구성한다.
큰 커널의 공간 정보
각 위치는 커널 범위의 공간 정보를 이용한다. 큰 커널을 단순히 분해하는 데 초점을 두기보다 변조 연산 안에서 활용하는 것이 이 연구의 관점이다.
네 단계의 시각 백본
해상도가 다른 네 단계의 피라미드 구조를 구성하고 단계 사이에서 해상도를 줄인다. 연구는 ImageNet 분류와 COCO 검출 및 ADE20K 의미 분할에서 모형을 평가했다.
관련 문서
Visual Attention Network / FocalNet / HorNet / InceptionNeXt / ConvNeXt / MaxViT