AdaHessian

곡률을 활용하기

기울기는 현재 위치에서 손실이 변하는 방향을 알려 준다. 곡률은 그 기울기가 주변에서 얼마나 달라지는지에 관한 정보다. AdaHessian은 이를 근사해 갱신을 조절하며 손실의 전체 헤시안 행렬을 매번 명시적으로 구성하지 않는다.

대각 추정의 독립 예제

H=[[4, 1], [1, 2]]라고 하자. 부호 벡터 (1, 1)에 대해 성분별 곱 z⊙Hz는 (5, 3)이고 (1, -1)에 대해서는 (3, 1)이다. 두 결과의 평균은 (4, 2)로 H의 대각과 같다. 이 작은 예에서의 일치는 한 번의 무작위 표본이 항상 정확하다는 뜻이 아니다.

변동을 줄이는 장치

무작위 곡률 추정은 표본과 학습 배치에 따라 흔들릴 수 있다. 대각 추정의 이동 평균과 블록 단위 평균은 이런 변동을 줄이는 데 쓰인다. 분산을 줄이면서 세부 정보가 완화될 수 있으므로 평균 범위도 학습 동작에 영향을 준다.

비용과 한계

헤시안과 벡터의 곱을 얻는 추가 미분 계산이 필요하다. 전체 행렬을 저장하지 않는다고 일차 방법과 비용이 항상 같아지는 것은 아니다. 같은 품질 수준에 도달하는 실제 시간과 메모리, 학습 안정성을 함께 비교한다.