예측에 보정값 더하기
현재 모형의 예측을 F라고 하면 다음 모형은 손실을 줄이는 방향의 보정값을 근사한다. 학습한 보정 h에 학습률 η를 곱해 F+ηh로 갱신한다. 제곱 오차에서는 실제값과 현재 예측의 차이인 잔차가 이 신호와 연결된다. 다른 손실에서도 언제나 단순 잔차를 그대로 쓰는 것은 아니다.
두 표본의 보정
목표값이 2와 6이고 초기 예측이 모두 4라면 잔차는 -2와 2다. 두 표본을 구별하는 나무가 이 잔차를 정확히 학습한다고 가정하자. 학습률 0.5로 보정하면 새 예측은 3과 5가 된다. 오차 제곱 합은 처음 8에서 2로 줄어든다. 이는 한 단계의 계산 예이며 실제 자료에서 모든 잔차를 정확히 학습할 수 있다는 뜻은 아니다.
학습률과 반복 수
작은 학습률은 각 보정의 영향을 줄이므로 더 많은 단계가 필요할 수 있다. 나무 깊이와 잎 크기는 한 번에 표현하는 보정의 복잡도를 바꾼다. 독립적으로 학습한 모형들을 단순 평균하는 배깅과 달리 단계 사이 의존성이 있다. 나무 수만 늘리는 것으로 적절한 설정을 대신할 수는 없다.
손실과 검증
제곱 오차뿐 아니라 절대 오차나 분위수에 맞는 손실도 사용할 수 있다. 어떤 수치적 특성을 예측하려는지 먼저 정해야 한다. 훈련 손실이 감소해도 새 자료 오차는 커질 수 있으므로 별도 검증과 조기 중단을 검토한다. 전처리와 모형 설정 선택에 최종 평가 자료의 정답을 섞지 않는다.