부호로 정하는 이동
갱신 방향을 만드는 결합값의 크기를 그대로 쓰는 대신 성분별 부호를 사용한다. 0이 아닌 성분은 기본 갱신에서 같은 크기로 이동한다. 현재 기울기의 부호만 보는 것은 아니며 과거 기울기를 반영하는 모멘텀이 함께 작용한다.
갱신의 독립 예제
결합값이 (0.2, -8)이고 학습률이 0.01이라면 부호 방향의 기본 변화는 (-0.01, 0.01)이다. 두 결합값의 절댓값 차이가 이동량에 그대로 반영되지 않는다. 가중치 감쇠와 실제 모멘텀 계산을 생략한 예이므로 전체 학습 단계를 재현하지는 않는다.
메모리의 범위
기울기의 일차 및 이차 통계를 모두 저장하는 방법과 비교하면 추적 상태를 줄일 수 있다. 하지만 가중치와 활성값, 기울기는 여전히 필요하다. 옵티마이저 배열의 절감만으로 전체 학습 메모리 감소율을 단정해서는 안 된다.
학습률과 평가
부호 갱신은 다른 옵티마이저와 갱신 벡터의 크기가 달라질 수 있다. 기존 학습률을 그대로 옮기기보다 배치 크기 및 가중치 감쇠와 함께 조정한다. 과제와 모형에 따라 성능 차이가 달라지므로 같은 품질 기준에 도달하는 시간과 안정성을 비교한다.
관련 문서
Adafactor / SOAP 옵티마이저 / GaLore / 경사 하강법 / 언어 모형 / 트랜스포머