다음 단계의 초점
처음 분류기를 학습한 뒤 표본별 정답과 예측을 비교한다. 잘못 분류한 표본의 상대 가중치를 늘려 다음 분류기가 그 사례를 더 중요하게 다루도록 한다. 기본 학습기는 이 가중치를 반영할 수 있어야 한다. 이후의 모형이 이전 결과에 의존하므로 단순히 독립 모형 여러 개를 평균하는 방식과 다르다.
가중치 변화의 예
네 표본의 가중치가 모두 1/4이고 첫 표본만 틀렸다고 하자. 변화의 의미를 보기 위해 틀린 표본의 가중치에 3을 곱하고 나머지를 유지한다고 정하면 정규화 전 값은 (3/4,1/4,1/4,1/4)다. 합 1.5로 나누면 (1/2,1/6,1/6,1/6)이 된다. 첫 표본의 영향이 커졌다. 실제 갱신 배율은 선택한 아다부스트 변형과 오차, 학습률에 따라 정해진다.
분류기의 결합
학습된 기본 분류기들도 최종 예측에 같은 비중으로만 참여하는 것은 아니다. 단계별 성능과 알고리즘에 따른 가중치로 결합한다. 얕은 의사결정나무처럼 단순한 모형을 여러 번 사용할 수 있으며 학습률과 반복 수가 결합 강도를 바꾼다. 기본 모형이 약하다는 말이 무작위보다 전혀 나을 필요가 없다는 뜻은 아니다.
오류와 검증
어려운 표본을 강조하는 과정은 잘못 붙은 라벨이나 잡음에 과도하게 집중할 수도 있다. 반복을 많이 한다고 새 자료 성능이 항상 좋아지지는 않는다. 학습률, 기본 모형의 복잡도, 반복 수를 검증하고 범주별 성능을 확인한다. 표본 재추출로 다양성을 만드는 배깅과 구분하여 해석한다.