현재 값에서 다음 값으로
조절 변수 하나로 오차가 달라지는 함수를 생각해 보자. 현재 지점의 미분값이 양수라면 변수를 조금 줄일 때 함수값을 낮출 수 있다. 변수가 여러 개이면 각 방향의 변화율을 모은 기울기를 사용한다.
기본 갱신은 현재 값에서 학습률과 기울기를 곱한 양을 빼는 방식이다. 이는 현재 주변의 변화 정보를 이용하는 방법이지 함수 전체를 한 번에 조사해 최저점을 찾아내는 절차는 아니다.
보폭을 정하는 문제
학습률이 너무 크면 낮은 지점을 지나쳐 진동하거나 값이 커질 수 있다. 너무 작으면 충분히 개선되는 데 오랜 시간이 걸린다. 함수의 곡률과 변수의 척도도 적절한 보폭에 영향을 준다.
일부 자료로 계산하는 변형
기계 학습에서는 전체 자료의 손실 기울기를 매번 계산하면 비용이 클 수 있다. 확률적 또는 미니배치 방식은 일부 예제를 이용해 갱신 방향을 추정한다. 그 결과 갱신에 변동이 생기지만 반복당 비용을 줄일 수 있다.
모멘텀과 적응적 학습률 같은 변형은 이전 갱신 정보와 기울기의 크기 등을 활용한다. 이런 방법이 모든 문제에서 같은 장점을 갖는 것은 아니다.
최적해 보장의 조건
비볼록 함수에서는 다른 초기값이 다른 결과로 이어질 수 있고, 기울기가 작은 곳이 전역 최솟값이라는 보장도 없다. 볼록한 문제에서도 적절한 함수 조건과 학습률 등 수렴 조건을 확인해야 한다. 학습이 멈췄다는 사실만으로 최선의 모델을 찾았다고 결론 내릴 수는 없다.