기저와 스케일의 분리
작은 인수들의 고유벡터로 만든 기저를 활용하고 그 좌표계에서 분산을 추정한다. 원래 매개변수 좌표에서 단순 대각 근사를 하는 것과 다르다. 같은 방향을 사용하더라도 방향별 스케일 추정이 달라지면 사전조건 갱신도 달라진다.
회전된 대각의 독립 예제
공분산이 [[3, 1], [1, 3]]이면 원래 좌표의 대각은 3과 3이다. 정규화한 (1, 1), (1, -1) 방향에서는 대각값이 4와 2가 된다. 좌표를 바꾼 대각이 다른 정보를 담을 수 있음을 보여 주는 예이며 실제 EKFAC 통계를 계산한 것은 아니다.
무엇을 보정하나
인수의 고유값을 단순 조합한 스케일에만 의존하지 않고 선택한 기저에서 대각 분산을 추적한다. 이 과정이 전체 곡률 행렬의 모든 상관을 정확히 복원하는 것은 아니다. 근사의 개선에 관한 이론과 모든 학습 과제의 성능 향상은 구분한다.
실행과 설정
고유기저 계산과 방향별 통계 갱신의 주기를 다르게 둘 수 있다. 통계 추정, 감쇠 및 배치 조건에 따라 비용과 안정성이 달라진다. K-FAC 등과 비교할 때에는 같은 손실이나 정확도까지의 반복 수와 실제 시간, 추가 상태 메모리를 함께 확인한다.
관련 문서
K-FAC / SOAP 옵티마이저 / Shampoo 옵티마이저 / 피셔 가중 모형 병합 / 행렬 / 경사 하강법