전체 배열 대신 요약
가중치 행렬의 각 원소마다 이차 모멘트를 저장하면 같은 크기의 상태 배열이 필요하다. Adafactor는 행과 열의 통계를 유지하고 각 위치의 값을 근사한다. 원래 가중치 행렬 자체를 반드시 저랭크로 제한하는 방법은 아니다.
상태 수의 독립 예제
100×80 행렬의 원소별 통계는 8,000개다. 행 통계 100개와 열 통계 80개만 두면 합계는 180개다. 이차 모멘트 표현만 비교한 것으로 구현의 다른 상태와 모형 전체 메모리까지 8,000/180배 줄어든다는 뜻은 아니다.
근사의 의미
행과 열의 요약만으로 원래 배열의 모든 정보를 복원할 수는 없다. 같은 요약 통계를 갖는 배열도 내부 값의 배치가 다를 수 있다. 저장 효율과 실제 학습 품질 사이의 관계를 확인해야 하며 일차 모멘텀을 추가하는 설정은 메모리 특성도 바꿀 수 있다.
갱신 안정화
적응적 스케일에서 지나치게 큰 갱신이 생길 수 있어 갱신 클리핑과 감쇠 일정 등이 함께 고려된다. 매개변수 자체의 크기에 맞춰 갱신을 조절하는 구성도 있다. 다른 옵티마이저와 비교할 때에는 학습률의 정의와 클리핑 설정을 먼저 맞춘다.
관련 문서
Lion 옵티마이저 / SOAP 옵티마이저 / GaLore / 경사 하강법 / 언어 모형 / 트랜스포머