GhostNet

기본 특징과 파생 특징

일반 합성곱으로 기본 특징 맵을 만든 다음 각 맵에 저비용 선형 연산을 적용해 파생 맵을 만든다. 기본 맵 자체도 출력에 포함할 수 있다. 모든 출력 채널을 동일한 일반 합성곱으로 계산하는 대신 두 종류의 연산을 결합한다.

채널 생성의 예

기본 맵 네 개마다 원본과 파생 맵 하나를 사용하면 출력은 여덟 채널이다. 기본 특징에서 두 출력을 얻는 구성인 셈이다. 파생 맵의 값은 학습된 연산으로 결정되며 기본 맵을 단순히 같은 값으로 복사한 것과는 다르다.

가중치 수를 계산하기

편향과 정규화 층을 제외한 예에서 입력 16채널을 출력 32채널로 바꾸는 1×1 합성곱은 가중치 512개다. 먼저 1×1로 기본 16채널을 만들면 256개이고 각 기본 맵에 3×3 깊이별 합성곱으로 파생 맵 하나를 만들면 144개가 더해져 총 400개다. 이 특정 예의 감소량이며 모든 구조의 비율은 아니다.

모형 전체의 효율

Ghost 병목은 이러한 모듈들을 연결해 경량 신경망을 구성한다. 채널 수, 파생 연산의 종류, 공간 크기에 따라 비용과 표현력이 바뀐다. 가중치 수만 아니라 실제 연산 지원과 메모리 접근, 목표 장치의 지연시간을 함께 확인해야 효율을 비교할 수 있다.