RepLKNet

커널의 공간 범위

31×31 커널은 한 번의 공간 연산으로 넓은 이웃을 참조한다. 커널의 크기만 늘리는 것이 아니라 깊이별 합성곱과 구조적 재매개변수화를 활용해 큰 커널을 학습하고 실행할 수 있게 구성한다.

작은 커널의 적층과 비교

보폭 1, 팽창률 1인 3×3 합성곱을 연속해서 쌓으면 이론적 수용 영역의 한 변은 층마다 2씩 늘어난다. 따라서 15층이면 1+2×15=31이다. 이는 크기만 비교한 독립 계산이다. 중간 활성 함수와 채널 변환이 있으므로 15층의 계산이 31×31 한 층과 같다는 뜻은 아니다.

깊이별 연산의 비용

64채널 각각에 31×31 커널 하나를 두면 편향을 제외한 공간 가중치는 961×64=61,504개다. 같은 채널 수의 3×3 깊이별 연산은 9×64=576개다. 큰 범위의 처리에는 추가 비용이 따르며 주변 연산을 포함한 전체 비용과 구분해야 한다.

수용 영역의 해석

이론적으로 참조할 수 있는 범위와 실제 예측에 크게 기여하는 유효 수용 영역은 다르다. 큰 커널의 효과는 과제와 학습 결과로 확인해야 한다. 커널 크기만으로 정확도나 모든 장치에서의 속도 우위를 단정할 수 없다.