대각 형태의 상태 변화
상태 행렬이 대각이면 선형 상태 전이 부분에서 각 잠재 성분은 자기 성분의 계수에 따라 변한다. 입력을 상태로 보내는 연산과 상태를 출력으로 읽는 연산에서는 성분들이 결합될 수 있다. 모형 전체가 독립적인 단변량 문제들로 분리된다는 뜻은 아니다.
초기화가 중요한 이유
수학적으로 대각 표현이 가능하다는 사실만으로 아무 초기화나 같은 학습 성능을 보장하지는 않는다. 서로 다른 시간 척도와 진동 성분을 어떻게 배치하느냐가 기억의 특성에 영향을 준다. S4D는 이러한 선택을 체계적으로 살펴본다.
독립적인 감쇠 예제
입력이 없는 연속계에서 대각 원소가 −1과 −2이고 초기 상태가 (2, 3)이면 상태는 (2e^(−t), 3e^(−2t))다. t=ln 2에서 (1, 0.75)가 된다. 같은 시간에도 성분별 기억 감소 속도가 다름을 보여 주는 단순 예제다.
연속과 이산의 구분
연속계의 계수와 실제 시퀀스에 쓰이는 이산 갱신 계수는 구분해야 한다. 이산화와 시간 간격이 기억의 범위를 바꾼다. 대각 구조의 간결함을 모든 문제에서의 정확도나 속도 우위로 일반화하지 않고 상태 크기와 학습 조건을 함께 비교한다.
관련 문서
S4 상태 공간 모형 / S5 상태 공간 층 / HiPPO / 선형 상태 공간 층 / 시계열 / 대각 행렬