두 수준의 적응
각 성분의 과거 통계를 반영해 갱신 방향을 만든 뒤 층 단위로 크기를 조절한다. 따라서 단순한 기울기 노름만 사용하는 층별 배율과는 다르다. 성분별 스케일과 층 전체의 상대 변화라는 두 문제를 함께 다룬다.
층 배율의 독립 예제
한 층의 매개변수 노름이 6이고 이미 계산한 갱신 방향의 노름이 2라면 단순 노름 비율은 3이다. 전역 학습률 0.01을 곱하면 이 예의 이동 노름은 0.06이다. 실제 구현의 스케일 함수와 감쇠, 예외 처리를 생략한 설명이다.
LARS와 구분
두 방법 모두 층별 규모를 고려하지만 LAMB는 Adam 형태의 성분별 적응을 결합한다. 따라서 같은 층별 비율을 쓴다고 동일한 갱신이 되는 것은 아니다. 사용한 모멘트 설정과 학습률 일정을 함께 확인해야 한다.
규모와 품질
대규모 배치가 장치 활용률을 높여도 일반화와 최적화 동작은 달라질 수 있다. 반복 횟수 감소와 단계당 계산량을 구분하고 같은 품질의 전체 시간을 비교한다. 특정 학습 시간을 재현하려면 하드웨어와 자료, 학습량 등의 조건도 맞아야 한다.
관련 문서
LARS 옵티마이저 / Adafactor / SOAP 옵티마이저 / 경사 하강법 / 언어 모형 / 트랜스포머