기존 기억 구조의 확장
LSTM의 기억과 게이트라는 기본 관점을 유지하면서 정보의 기록과 결합 방식을 바꾼다. 지수형 게이팅은 적절한 정규화와 수치 안정화와 함께 사용한다. 지수값을 아무 처리 없이 크게 만드는 것과는 다르다.
두 기억 변형
sLSTM은 스칼라 기억과 새로운 기억 혼합을 사용하고 mLSTM은 행렬 기억과 공분산 형태의 갱신을 사용한다. 두 변형의 구조와 병렬화 특성을 구분해야 하며 xLSTM 전체를 항상 하나의 동일한 셀로 볼 수는 없다.
지수 가중치의 독립 예제
두 점수가 0과 ln 4라면 지수값은 1과 4다. 합으로 정규화하면 비율은 0.2와 0.8이다. 두 점수에 같은 상수 10을 더해도 이 비율은 같다. 이는 지수값의 상대 비율을 설명하는 예이며 실제 셀 전체의 상태 갱신식은 아니다.
계산과 성능
기억 구조를 바꾸면 표현 용량과 계산 방식이 함께 달라진다. 잔차 블록과 학습 절차도 모형의 성능에 영향을 준다. 게이트 종류만으로 다른 시퀀스 모형보다 항상 정확하거나 빠르다고 결론 내리지 않고 문맥 길이와 모형 크기를 맞춰 비교한다.
관련 문서
LSTM / 선형 순환 유닛 / Griffin 신경망 / Gated DeltaNet / 순환 신경망 / 언어 모형