순환 안의 망각 게이트
출력에만 게이트를 적용하는 방식과 달리 이전 상태를 다음 단계에 얼마나 전달할지 순환 갱신 안에서 조절한다. 게이트에 학습 가능한 하한을 두어 기억 유지의 성질을 설계한다.
층마다 다른 하한
위쪽 층으로 갈수록 하한이 단조롭게 증가하도록 구성한다. 위층은 오래된 상태를 덜 급격하게 지우고 아래층은 더 국소적인 변화를 처리하도록 유도한다. 이것이 각 층의 실제 기억 길이를 정확히 하나의 숫자로 고정한다는 뜻은 아니다.
감쇠의 독립 예제
새 입력 없이 상태를 일정한 계수 f로 곱하면 열 번 뒤의 비율은 f¹⁰이다. f=0.5이면 약 0.00098이고 f=0.9이면 약 0.34868이다. 망각 계수가 기억 유지에 미치는 영향을 보여 주며 실제 HGRN의 게이트가 고정 상수라는 뜻은 아니다.
길이와 학습의 평가
계층별 시간 범위를 유도해도 유한한 상태의 용량과 학습 데이터의 한계는 남는다. 긴 입력에서의 기억 및 회상 성능을 따로 평가해야 한다. 출력 게이트와 망각 게이트의 역할, 층 수와 상태 크기의 비용도 구분해 비교한다.
관련 문서
xLSTM / 선형 순환 유닛 / Griffin 신경망 / Mamba 신경망 / 순환 신경망 / 시계열