더 큰 커널의 학습 문제
큰 커널은 넓은 공간 문맥을 다룰 수 있지만 크기만 늘린다고 성능이 계속 개선되지는 않는다. 연구는 기존 큰 커널보다 더 넓은 범위의 합성곱을 효과적으로 학습하는 방법을 탐색했다.
희소성과 분해의 결합
희소성을 활용해 매우 큰 커널을 적용하는 구성을 제안했다. 이를 바탕으로 희소하게 분해한 51×51 커널을 사용하는 순수 합성곱 구조인 SLaK를 만들었다.
분류와 밀집 예측
연구는 ImageNet 분류와 ADE20K 의미 분할 및 VOC와 COCO의 객체 검출 등에서 평가했다. 커널 확대 자체와 이를 가능하게 하는 희소 구성의 효과를 함께 살피는 접근이다.
관련 문서
RepLKNet / InceptionNeXt / Conv2Former / InternImage / Visual Attention Network / HorNet