기억을 함수 근사로 보기
새 관측이 들어올 때 과거 기록 전체를 그대로 저장하는 대신 제한된 계수로 과거 함수를 근사한다. 어떤 과거 시점을 중요하게 볼지 측도로 지정하고 그 기준 아래 오차를 줄이는 다항식 투영을 구성한다.
측도가 바꾸는 요약
단순한 상수 근사의 독립 예로 과거 값이 0과 4라고 하자. 같은 가중치이면 제곱 오차를 최소화하는 상수는 2다. 가중치가 각각 3과 1이면 상수는 (3×0+1×4)/4=1이다. 같은 기록도 중요도 기준에 따라 다른 요약을 갖는다.
다항식 계수의 갱신
높은 차수의 계수를 포함하면 평균 외의 시간 변화도 표현할 수 있다. HiPPO는 새로운 데이터가 들어올 때 투영 계수를 갱신하는 동역학을 제공한다. LegS는 시간이 흐르며 확장되는 과거 구간을 다루는 구성이다.
최적이라는 말의 범위
최적성은 선택한 측도와 기저, 정해진 함수 근사 오차에 대한 것이다. 유한한 상태로 모든 과거를 손실 없이 저장하거나 모든 예측 과제에서 가장 좋은 성능을 보장한다는 뜻은 아니다. 기억 크기와 데이터의 시간 척도를 함께 평가한다.
관련 문서
Liquid Time-constant Network / 신경 제어 미분방정식 / 순환 신경망 / 시계열 / 다항식 / 최소제곱법