연산 수만으로 설명되지 않는 속도
큰 커널의 채널별 합성곱은 연산 수가 적어도 메모리 접근 때문에 실제 실행 효율이 낮을 수 있다. 연구는 단순히 커널을 줄여 정확도를 희생하는 대신 다른 분해 구성을 찾는다.
네 경로로 나누는 합성곱
채널 방향으로 작은 정사각형 커널과 서로 직교하는 두 띠 모양 커널 및 항등 매핑의 병렬 분기를 구성한다. 서로 다른 공간 범위를 처리하면서 큰 커널의 비용을 낮추려는 설계다.
처리량과 정확도의 비교
이 연산을 바탕으로 여러 크기의 신경망 계열을 만들었다. 연구는 ImageNet에서 인식 성능과 학습 처리량을 비교해 연산 수만으로는 드러나지 않는 실행 비용의 차이를 평가했다.
관련 문서
ConvNeXt / RepLKNet / Visual Attention Network / HorNet / FocalNet / FasterNet