순환 부분을 선형으로 구성하기
현재 입력과 이전 상태의 결합에서 순환 상태 전이를 선형으로 둔다. 이 전이를 대각 형태로 매개변수화하고 초기 상태 전달 특성을 조절한다. 다른 층의 비선형 변환까지 제거해 전체 모형이 선형이 되는 것은 아니다.
복소 계수의 역할
복소수 상태 계수로 감쇠와 진동을 함께 표현할 수 있다. 입력과 출력의 투영은 이러한 상태를 관측 특징과 연결한다. 복소수를 사용한다는 이유만으로 관측 데이터가 복소수여야 하는 것은 아니다.
독립적인 상태 예제
입력이 없는 갱신 x다음=0.5i x현재에서 초기 상태가 2이면 다음 두 상태는 i와 −0.5다. 크기는 매 단계 절반으로 줄고 위상은 회전한다. 단순한 한 성분의 예로 실제 LRU 모형의 초기화나 전체 출력을 지정한 것은 아니다.
초기화와 학습
어떤 시간 범위의 정보를 유지할지는 상태 계수의 배치와 신호 규모에 영향을 받는다. 대각화만으로 긴 기억의 학습이 자동 해결되는 것은 아니다. 상태 크기와 정규화, 입력 길이를 함께 맞춰 비교하고 순환 실행 및 병렬 학습의 비용을 구분한다.
관련 문서
Griffin 신경망 / S4D / S5 상태 공간 층 / HiPPO / 순환 신경망 / 복소수