느린 매개변수와 빠른 기억
학습된 신경망이 입력에서 키와 값, 갱신 강도 등을 만든다. 이 값들로 시퀀스 안에서 기억 행렬을 바꾼다. 학습 전체에 걸쳐 조정되는 매개변수와 입력 처리 중 바뀌는 빠른 기억을 구분해야 한다.
차이를 쓰는 규칙
기억 S에서 키 k로 읽은 값이 Sk라면 새 값 v와의 차이를 계산한다. 기본 형태 S다음=S+β(v−Sk)kᵀ는 그 차이를 키 방향으로 기록한다. 정확히 어떤 방향의 연상이 바뀌는지는 키의 정규화와 다른 키 사이의 관계에 영향을 받는다.
스칼라의 독립 예제
S=4, k=1, v=6, β=0.25이면 읽은 값은 4이고 수정량은 0.25×(6−4)=0.5다. 새 기억은 4.5다. 목표 6을 단순히 더하는 것과 달리 현재 예측과의 차이를 반영한다.
기억 용량과 간섭
유한한 행렬에 많은 키·값을 저장하면 키들이 간섭할 수 있다. 델타 갱신이 이 문제를 무조건 없애거나 모든 연상을 독립적으로 덮어쓰는 것은 아니다. 합성 회상 과제와 실제 시퀀스에서 갱신 강도 및 상태 크기를 함께 평가한다.
관련 문서
Gated DeltaNet / 게이트 선형 주의 / RetNet / RWKV / 자기 주의 / 외적