공간 게이팅의 흐름
채널을 확장한 특징을 두 부분으로 나눈다. 한 부분을 정규화하고 토큰 축의 선형 변환을 적용한 뒤 다른 부분과 원소별로 곱한다. 이후 채널을 원래 크기로 투영하며 잔차 연결을 사용한다.
행렬과 출력의 차이
공간 변환 행렬 자체는 학습된 고정 매개변수다. 자기 주의처럼 입력별 질의와 키로 행렬을 새로 생성하지 않는다. 그러나 그 행렬을 입력 특징에 적용한 게이트 값과 최종 출력은 입력에 따라 달라진다.
곱셈의 독립 예제
두 위치의 특징이 u=(2, 3)이고 게이트 변환 결과가 g=(1, 0.5)라면 원소별 곱 u⊙g는 (2, 1.5)다. 이는 게이트가 특징을 조절하는 원리만 나타낸다. 이 선형 게이트의 값이 반드시 0과 1 사이의 확률인 것은 아니다.
초기화와 계산 규모
공간 변환 가중치를 0에 가깝게, 편향을 1에 가깝게 두면 처음에는 특징을 거의 그대로 통과시키는 게이트가 된다. 토큰 수가 n이면 공간 변환 행렬의 크기는 n×n이다. 따라서 자기 주의를 쓰지 않는다는 이유만으로 긴 입력의 공간 계산 비용이 선형이 되지는 않는다.