기본 곡선
시작값 η최대, 최저값 η최소, 기간 T>0일 때 0≤t≤T에서 η(t)=η최소+(η최대-η최소)(1+cos(πt/T))/2다. 양 끝에서는 곡선의 기울기가 0이고 중간에서 감소가 더 빠르다. 기본형이 매 단계 같은 양이나 같은 비율로 감소하는 것은 아니다.
세 시점 계산
시작값 0.1, 최저값 0.02, 기간 100단계라면 0단계에서 0.1, 50단계에서 0.06, 100단계에서 0.02다. 최저 비율을 α=0.2로 표현하면 시작값의 20퍼센트인 0.02가 된다. α가 최저 학습률 자체인지 비율인지 확인해야 한다.
구간이 끝난 뒤
t를 min(t,T)로 잘라 쓰는 구성에서는 100단계 이후에도 0.02를 유지한다. 코사인 식에 제한 없이 큰 t를 넣으면 값이 다시 증가할 수 있으므로 같은 스케줄이 아니다. 재시작 방식은 구간을 새로 시작하는 규칙을 명시적으로 둔다.
워밍업과 평가
초반에 작은 값에서 목표 학습률까지 올리는 워밍업을 앞에 붙일 수 있다. 이때 전체 단계와 감쇠 구간 안의 단계를 구분해야 한다. 코사인 모양을 사용한다고 검증 성능이 자동으로 좋아지는 것은 아니며, 기본 학습률과 기간을 자료와 최적화기에 맞게 평가해야 한다.
관련 문서
학습률 지수 감쇠 / 경사 하강법 / Adam (최적화) / AdamW / 교차 검증 / 조기 종료 (기계 학습) / 기울기 클리핑