좌표계에 따른 갱신
성분별 적응 갱신은 어떤 축에서 기울기를 표현하는지에 영향을 받는다. SOAP는 사전조건자에서 구한 고유기저를 사용한다. 좌표를 바꾸기만 하고 원래 기울기를 그대로 쓰는 것이 아니라 해당 공간에서 모멘트를 관리하며 갱신한다.
대각화의 독립 예제
대칭 행렬 [[3, 1], [1, 3]]의 고유방향은 (1, 1)과 (1, -1)이며 대응 고유값은 4와 2다. 이 방향을 정규화해 좌표축으로 쓰면 두 축의 결합을 분리해 표현할 수 있다. 실제 SOAP 전체 계산을 대신하는 예는 아니다.
기저 갱신의 비용
고유기저를 매번 다시 계산하면 비용이 클 수 있다. SOAP는 기저를 상대적으로 느리게 바꾸는 동안에도 현재 좌표계의 이차 모멘트를 계속 갱신한다. 기저를 바꾸는 주기는 계산량뿐 아니라 최적화 동작에도 영향을 준다.
반복 횟수와 실행 시간
더 적은 학습 단계로 같은 손실에 도달해도 단계당 비용이 커지면 전체 시간의 이득은 달라진다. 행렬 크기, 배치와 하드웨어에 따라 기저 계산의 부담도 변한다. 동일한 품질 기준에서 반복 횟수, 실제 시간과 상태 메모리를 함께 비교한다.