행렬 상태의 갱신
과거의 키와 값의 결합을 행렬에 누적하고 질의로 읽는다. GLA는 새 정보를 더하기 전에 입력에 따른 게이트로 이전 상태를 조절한다. 모든 시점에 같은 감쇠 계수를 쓰는 구성과 구분된다.
행별 망각의 독립 예제
상태 S=[[2, 4], [6, 8]]에 행별 계수 (0.5, 0.25)를 적용하면 [[1, 2], [1.5, 2]]다. 여기에 새 외적 [[1, 0], [0, 0]]을 더하면 [[2, 2], [1.5, 2]]가 된다. 이는 행별 게이트의 작용을 분리한 예제로 투영과 최종 출력은 생략했다.
계산 효율의 설계
청크 단위 계산으로 구간 내부의 병렬 연산과 구간 사이의 상태 전달을 조합한다. 연산량만 줄여도 느린 메모리로의 이동이 많으면 실행이 느릴 수 있다. GLA의 효율은 게이트 구조와 장치에 맞춘 계산을 함께 고려한다.
평가할 범위
선형 추론은 고정된 모형 크기에서 시퀀스 길이에 대한 비용을 말한다. 상태 차원에 따른 비용과 학습 계산의 메모리 요구는 별도다. 게이트를 추가했다고 모든 기억 과제나 모든 문맥 길이에서 정확성이 보장되는 것은 아니다.