쌍대성의 의미
상태 갱신을 순환식으로 쓰는 표현과 시퀀스 전체의 구조화된 행렬 연산으로 쓰는 표현 사이의 관계를 활용한다. 모든 소프트맥스 트랜스포머와 모든 상태 공간 모형이 동일한 계산을 한다는 뜻으로 해석하면 안 된다.
효율적인 상태 처리
선택적 상태 공간의 구조를 조정해 행렬 곱과 블록 계산을 효율적으로 활용한다. 같은 연산을 장치에 적합한 형태로 구성하는 관점이 중요하다. Mamba와 Mamba-2의 구체적인 상태 갱신 및 계산 방법은 구분해야 한다.
두 표현의 독립 예제
스칼라 갱신 h1=a1h0+b1, h2=a2h1+b2에서 h0=0이면 h2=a2b1+b2다. a2=0.4, b1=5, b2=3이면 h2=5다. 순차 계산을 펼친 합으로 읽는 원리를 보여 주는 예이며 실제 SSD의 전체 행렬 구조를 나타내지는 않는다.
속도 비교의 조건
핵심 층의 실행 개선과 완성된 모형 전체의 속도 향상을 구분해야 한다. 상태 크기와 시퀀스 길이, 배치 및 장치에 따라 실제 이점이 달라진다. 긴 입력을 처리하는 계산 효율과 그 문맥에서 필요한 정보를 기억하는 성능도 별도로 평가한다.
관련 문서
Mamba 신경망 / 게이트 선형 주의 / RetNet / S4 상태 공간 모형 / S5 상태 공간 층 / 상태 공간 모형