공간 정보를 압축하기
대표적인 squeeze 단계는 각 채널의 공간 값을 전역 평균해 채널마다 하나의 수를 만든다. H×W 위치를 가진 C채널 특징은 C개의 요약값으로 바뀐다. 이 과정은 공간 배치를 그대로 보관하지 않으므로 서로 다른 모양이라도 채널 평균이 같을 수 있다.
채널 사이 관계로 게이트 만들기
요약 벡터를 작은 은닉 표현으로 줄였다 다시 채널 수로 늘리는 학습된 변환에 넣고 시그모이드 등으로 게이트를 만든다. 채널을 각각 독립적인 고정 상수로 조정하는 것이 아니라 입력에서 얻은 채널 요약을 함께 이용한다. 그 게이트를 원래 특징의 같은 채널 모든 공간 위치에 곱한다.
요약과 재조정 예제
한 채널의 두 공간 값이 (2,4)이고 다른 채널은 (1,3)이라면 평균 요약은 (3,2)다. 학습된 excitation 부분이 게이트 (0.5,0.8)를 반환했다고 가정하면 출력 채널은 각각 (1,2), (0.8,2.4)가 된다. 요약 벡터만으로 이 게이트가 저절로 정해지는 것은 아니며 게이트 함수의 가중치가 필요하다.
공간 지도와 구별하기
기본 SE 게이트는 채널마다 한 값이므로 같은 채널 안의 특정 위치만 따로 강조하지는 않는다. 공간적 어텐션 지도와 비교할 때 이 차이를 구별한다. 추가 변환의 매개변수와 계산 비용이 들며, 어떤 과제나 구조에서도 정확도가 개선된다고 보장할 수는 없다. 실제 모형에서 학습하고 평가해 효과를 확인한다.