위키득계정 ↗
기술

ECA 모듈

ECA 모듈기술
전체 이름
Efficient Channel Attention
핵심 연산
채널 축의 짧은 1차원 합성곱
요약 방식
채널별 전역 평균
설계 특징
채널 차원 축소 없이 국소 결합
ECA 모듈은 전역 평균으로 요약한 채널 벡터에 짧은 1차원 합성곱을 적용해 채널 어텐션을 계산하는 신경망 구성이다. 채널 수를 작은 은닉 차원으로 줄이는 대신 인접한 채널 요약 사이의 국소적인 상호작용을 이용한다.

채널 벡터를 따라 계산하기

공간 전체를 평균해 C개의 채널 요약값을 얻고 그 벡터에 1차원 합성곱을 적용한다. 여기서 합성곱이 이동하는 축은 원래 이미지의 가로 또는 세로가 아니라 채널 순서다. 그 결과를 시그모이드 등에 통과시켜 원래 특징에 곱할 채널 게이트를 만든다.

작은 커널의 계산 예제

채널 요약이 (1,2,3,4)이고 길이 3의 커널 값이 모두 1/3이며 양끝을 0으로 채운다고 하자. 합성곱 결과는 (1,2,3,7/3)이다. 이 예제에서 채널 2의 값은 주변 세 요약의 평균으로 만들어진다. 실제 모듈에서는 이 커널 값을 학습하며 시그모이드 등의 후속 단계도 있으므로 위 수치가 최종 게이트는 아니다.

매개변수 수와 범위

하나의 공유 1차원 필터를 쓰면 바이어스를 제외한 커널 매개변수 수는 길이 k개다. 채널 수에 따라 적절한 커널 길이를 고르는 설계도 사용한다. k가 작으면 각 게이트는 가까운 채널의 제한된 요약을 직접 받으므로, 모든 채널 사이에 자유로운 개별 연결을 둔 변환과는 표현 구조가 다르다.

SE 블록과 비교하기

SE 블록의 대표 구성은 채널 요약을 줄였다 다시 늘리는 학습 변환을 사용한다. ECA는 그 차원 축소를 피하고 국소 채널 상호작용으로 비용을 제한한다. 매개변수가 적다는 사실만으로 모든 장치에서 지연이 더 짧거나 모든 자료에서 정확도가 높다고 정할 수 없으며 실제 평가가 필요하다.

관련 문서

SE 블록 / CBAM / 전역 평균 풀링 / 합성곱 / 시그모이드 함수 / MobileNet