층마다 다른 상대 변화
같은 학습률을 곱해도 가중치 크기에 비해 큰 갱신을 받는 층과 작은 갱신을 받는 층이 생길 수 있다. LARS는 가중치와 기울기의 노름 관계를 이용해 층별 배율을 정한다. 단순히 모든 층의 학습률을 같은 상수로 늘리는 방식과 다르다.
노름 비율의 독립 예제
층 A의 가중치 노름과 기울기 노름이 10과 2라면 비율은 5다. 층 B가 1과 0.5라면 비율은 2다. 이 값으로 층마다 다른 상대 규모를 볼 수 있다. 실제 갱신에는 전역 학습률과 신뢰 계수, 감쇠 등이 추가될 수 있다.
배치와 학습 일정
배치를 키우면 한 단계에서 처리하는 자료가 늘지만 같은 에포크의 갱신 횟수는 줄어든다. 층별 배율만으로 이 변화의 모든 효과를 없앨 수는 없다. 학습률 워밍업과 일정, 모멘텀을 함께 정하고 실험 조건을 맞춘다.
설정과 비교
노름이 0에 가깝거나 정규화 및 편향 매개변수를 다루는 경우 구현 정책이 중요하다. 큰 배치에서의 성공 사례가 모든 구조에서 같은 효과를 보장하지는 않는다. 최종 정확도뿐 아니라 전체 학습 시간과 튜닝 비용을 함께 비교한다.
관련 문서
LAMB 옵티마이저 / 경사 하강법 / Lion 옵티마이저 / Adafactor / 언어 모형 / 트랜스포머