변화율을 학습하기
상태 z(t)에 대해 dz/dt=fθ(z(t), t)로 표현한다. 신경망은 다음 상태를 한 번에 정하는 대신 현재 상태의 변화율을 출력한다. 시작 상태에서 적분한 결과를 후속 예측에 사용한다.
잔차 갱신과의 관계
작은 간격 h의 전진 오일러 근사는 z다음=z현재+h fθ(z현재, t)다. 이는 잔차를 더하는 갱신과 연결되지만 실제 수치 솔버가 항상 전진 오일러를 쓰거나 고정된 횟수로 계산하는 것은 아니다.
수치 적분의 독립 예제
dz/dt=z, z(0)=1을 구간 0에서 1까지 보폭 0.5로 전진 오일러 적분하면 1에서 1.5, 다시 2.25가 된다. 정확한 해의 끝값은 e이므로 다르다. 미분방정식이 정해져 있어도 계산 방법과 오차에 따라 출력이 달라짐을 보여 준다.
학습과 계산 비용
매개변수의 기울기는 솔버 연산을 미분하거나 수반 방정식 등을 이용해 구한다. 메모리 절감과 상태 재구성, 수치 오차 사이의 관계를 확인해야 한다. 연속 깊이라는 표현이 계산을 무한히 수행한다는 뜻은 아니며 변화율 평가 횟수로 비용을 측정할 수 있다.
관련 문서
ANODE 수반 미분 / DeepONet / DeepXDE / 상미분방정식 / 오일러 방법 / 잔차 연결