기억 상태의 누적
키와 값의 결합을 상태에 누적하고 질의로 그 상태를 읽는다. 이전 상태는 감쇠 계수로 조절한다. 여러 시간 척도의 retention을 결합해 서로 다른 거리의 정보를 처리한다. 소프트맥스 주의와 동일한 정규화를 쓰는 연산은 아니다.
세 가지 표현
병렬 표현은 한 시퀀스 안의 관계를 함께 계산한다. 순환 표현은 이전 상태를 유지하며 다음 토큰을 처리한다. 청크 표현은 구간 내부를 병렬로 처리하고 구간 사이에는 상태를 전달한다. 계산 묶음을 달리하는 것이 순서를 임의로 바꾸는 것은 아니다.
감쇠 누적의 독립 예제
위치 표현과 다른 연산을 생략한 스칼라 상태 S다음=0.5S이전+kv를 생각하자. 초기 상태가 0이고 두 입력의 kv가 2와 3이면 상태는 2, 4가 된다. 마지막 질의 q=2가 이를 읽으면 출력은 8이다. 실제 모형의 전체 헤드를 나타내는 예는 아니다.
추론 비용의 범위
고정된 상태 크기로 토큰을 순환 처리할 때 한 단계의 상태 비용은 과거 토큰 수에 따라 늘지 않는다. 그렇다고 전체 시퀀스의 생성 시간이 상수이거나 모델 크기와 무관한 것은 아니다. 상태 차원과 배치, 학습 계산 방식까지 포함해 효율을 평가한다.
관련 문서
Mamba 신경망 / S4 상태 공간 모형 / S5 상태 공간 층 / 자기 주의 / 순환 신경망 / 언어 모형