AdamW

분리된 갱신

적응형 기울기 항을 u, 학습률을 η, 감쇠 계수를 λ라 쓰는 한 가지 표기에서는 새 가중치가 (1-ηλ)w-ηu다. 감쇠 항을 Adam의 모멘트 추정에 섞지 않는 것이 핵심이다. 구현마다 계수의 정의와 감쇠 대상 설정을 확인해야 한다.

감쇠만 적용한 예

u=0이고 w=2, η=0.1, λ=0.01이면 새 값은 1.998이다. 기울기에 따른 이동이 없어도 선택된 가중치는 줄어든다. 같은 비율의 감쇠를 반복하면 곱셈이 누적되므로, 한 번의 감소량과 전체 학습 동안의 감소량은 다르다.

L2 벌점과 다른 이유

차이를 보기 위한 고정 전처리 예를 생각하자. w=(1,1), η=0.1, λ=0.1에서 성분별 기울기 배율이 (0.5,2)라고 하자. 원래 기울기가 0일 때 λw를 기울기에 더해 배율을 적용하면 (0.995,0.98)이 된다. 별도 감쇠는 (0.99,0.99)다. 이는 차이를 설명하는 단순 모형이며 Adam의 상태 갱신을 계산한 예는 아니다.

설정과 평가

일반적인 비적응형 경사 하강법에서는 L2 벌점의 기울기가 같은 형태의 곱셈 감쇠로 나타날 수 있다. 적응형 방법에서는 이를 그대로 동일시하기 어렵다. 감쇠를 분리해도 학습률 선택이나 검증 데이터 평가가 필요하며 모든 문제에서 더 좋은 결과를 보장하지 않는다.