내용에 따른 선택
일부 상태 공간 매개변수를 입력의 함수로 만들어 현재 토큰에 따라 정보를 보존하거나 덜 전달하도록 한다. 시간에 따라 같은 선형 필터를 적용하는 상태 공간과 구분된다. 선택적이라는 이름이 사람이 직접 토큰을 지정한다는 뜻은 아니다.
계산 방식의 변화
입력에 의존하는 갱신 때문에 고정된 시간 불변 합성곱을 그대로 사용할 수 없게 된다. Mamba는 순환 표현의 계산을 장치의 메모리와 병렬 처리에 맞춰 구성한다. 주의 없이도 내용에 반응하는 상태 전달을 구현하는 것이 설계의 핵심이다.
선택의 독립 예제
단순한 스칼라 갱신 h다음=a h현재+b u를 생각하자. h현재=2, u=5에서 (a, b)=(1, 0)이면 결과는 2이고 (0, 1)이면 5다. 어떤 정보를 유지하거나 새로 반영할지 보여 주는 예이며 실제 Mamba 셀의 매개변수 전체를 나타내지는 않는다.
선형 비용의 의미
고정된 모형 크기에서 시퀀스 길이에 대한 계산 증가를 줄이는 설계다. 제한된 상태에 요약한다고 해서 긴 문맥의 모든 정보를 손실 없이 기억하는 것은 아니다. 길이별 실행 시간과 메모리, 과제 성능을 함께 확인해야 한다.
관련 문서
RetNet / S4 상태 공간 모형 / S5 상태 공간 층 / S4D / 상태 공간 모형 / 시계열