두 종류의 기억 조절
감쇠 게이트는 이전 기억 전체의 영향을 줄이고 델타 규칙은 현재 키에 대응하는 연상을 수정한다. 전반적인 망각과 특정 방향의 덮어쓰기는 서로 다른 역할이다. 게이트와 쓰기 강도는 데이터에 따라 조절된다.
기본 갱신 형태
기억 S와 키 k, 값 v에 대해 S다음=αS(I−βkkᵀ)+βvkᵀ로 쓸 수 있다. α는 감쇠, β는 쓰기 강도를 조절한다. 이 식에서는 감쇠한 이전 상태를 기준으로 키 방향의 수정을 수행한다.
독립적인 스칼라 예제
S=4, k=1, v=6, α=0.5, β=0.25이면 새 상태는 0.5×4×0.75+0.25×6=3이다. 감쇠 없이 같은 델타 갱신을 적용하면 4.5다. 새 값을 기록하더라도 이전 기억의 감쇠가 전체 결과를 바꾸는 예다.
효율과 회상 성능
순환 갱신을 효율적인 청크 계산으로 구성해 병렬 학습을 지원한다. 유한한 상태의 기억 용량과 키 간 간섭은 여전히 확인해야 한다. 특정 회상 벤치마크의 개선을 모든 길이와 모든 언어 과제의 정확한 기억 보장으로 확대할 수는 없다.
관련 문서
델타 규칙 빠른 가중치 / Mamba-2 / Mamba 신경망 / 게이트 선형 주의 / RetNet / 언어 모형