S4 상태 공간 모형

연속 상태 공간

입력 u와 상태 x에 대해 x′=Ax+Bu, 출력 y=Cx+Du의 선형계를 기본으로 삼는다. S4는 긴 기억에 적합한 상태 공간을 효율적으로 계산하도록 매개변수화한다. 신경망 전체는 다른 비선형 층과 결합할 수 있다.

구조화의 역할

상태 행렬의 구조와 저랭크 보정을 활용해 계산을 단순화한다. 일반적인 큰 밀집 행렬을 매 시점 그대로 계산하는 것과 다르다. HiPPO의 기억 원리와 상태 공간의 효율적인 계산을 연결한다.

순환과 합성곱의 독립 예제

이산 상태가 xk=0.5x이전+uk, 초기 상태 0이고 출력이 xk라고 하자. 입력 (1, 2, 0)에 대한 출력은 (1, 2.5, 1.25)다. 같은 값은 커널 (1, 0.5, 0.25, …)의 인과적 합성곱으로도 계산할 수 있다. 이는 기본 선형계의 예이며 실제 S4의 전체 정의는 아니다.

긴 기억의 평가

고정된 선형계의 순환 계산과 합성곱 표현은 상황에 따라 다른 실행 이점을 준다. 상태 크기가 유한하므로 모든 과거를 손실 없이 보존하는 것은 아니다. 시퀀스 길이와 학습 조건, 생성 방식까지 함께 비교해야 한다.