위키득계정 ↗
기술

Liquid Time-constant Network

Liquid Time-constant Network기술
약칭
LTC
모형 유형
연속시간 순환 신경망
특징
변하는 유효 시간상수
계산
미분방정식 솔버
Liquid Time-constant Network는 입력과 상태에 따라 유효 시간상수가 달라지는 연속시간 순환 신경망이다. 비선형 게이트로 조절되는 동역학을 수치 적분해 상태를 계산한다.

시간상수가 변한다는 의미

고정된 속도로 감쇠하는 상태에 비선형 게이트를 결합한다. 게이트가 입력과 상태에 따라 달라지므로 상태가 반응하는 시간 척도도 바뀐다. liquid는 액체 재료나 특정 하드웨어를 뜻하는 표현이 아니다.

스칼라 형태

한 성분의 예시 식은 x′=−(1/τ+f)x+fA다. 여기서 f는 입력과 상태를 반영하는 게이트다. f를 순간적으로 고정해 보면 유효 시간상수는 1/(1/τ+f)로 읽을 수 있다. 실제로 f가 바뀌므로 전체 궤적이 항상 상수계수 선형계는 아니다.

독립적인 수치 예제

τ=2일 때 f=0이면 유효 시간상수는 2다. f=1.5로 고정하면 1/(0.5+1.5)=0.5다. 반응 속도뿐 아니라 fA 항이 정하는 구동도 함께 바뀐다. 따라서 게이트가 달라질 때 단순히 같은 목표로 더 빨리 가는 변화라고만 해석하면 안 된다.

안정성과 실행 비용

게이트와 매개변수에 대한 조건 아래 상태와 시간상수의 범위를 분석할 수 있다. 이러한 조건을 모든 임의 매개변수의 안정성 보장으로 확대해서는 안 된다. 수치 솔버와 내부 적분 횟수도 비용 및 정확도에 영향을 주므로 실제 시계열에서 평가한다.

관련 문서

폐형식 연속시간 신경망 / 신경 상미분방정식 / 잠재 ODE / 순환 신경망 / 시계열 / 시간상수