잎의 대표값
제곱 오차를 쓰는 기본 회귀나무는 잎에 속한 학습 목표값의 평균으로 예측한다. 절대 오차를 쓰면 중앙값이 대표값이 될 수 있다. 따라서 회귀나무라는 이름만으로 모든 경우에 평균을 쓴다고 단정해서는 안 된다. 어떤 특징에서 나눌지와 어디서 멈출지도 학습 과정의 일부다.
네 표본의 계산
입력 x가 1,2,3,4이고 목표값이 2,4,10,12라고 하자. 제곱 오차 기준으로 나누지 않으면 평균 7을 예측하고 오차 제곱 합은 68이다. x=2.5에서 나누면 왼쪽은 평균 3, 오른쪽은 평균 11을 예측한다. 오차 제곱 합은 1+1+1+1=4로 줄어든다. 이 예는 한 분할의 효과를 보여주며 최종 깊이를 정해 주지는 않는다.
영역 안의 같은 예측
같은 잎으로 들어간 입력은 기본적인 상수 잎 모형에서 같은 값을 받는다. 따라서 입력이 조금 바뀌어도 예측이 유지되다가 경계를 넘을 때 갑자기 바뀔 수 있다. 나무가 비선형 관계를 표현할 수 있다는 사실과 예측 함수가 매끄럽다는 주장은 다르다.
과적합과 외삽
분할을 지나치게 늘리면 학습 잡음까지 따라갈 수 있다. 잎의 최소 표본 수와 최대 깊이, 가지치기 강도를 별도 검증으로 정한다. 평균이나 중앙값 잎은 일반적으로 학습 영역 밖의 선형 추세를 계속 연장하지 않는다. 학습 오차 감소를 새 자료의 성능 향상으로 곧바로 해석해서는 안 된다.
관련 문서
의사결정나무 분류 / 평균 제곱 오차 / 평균 절대 오차 / 중앙값 / 과적합 / 교차 검증 / K 최근접 이웃 회귀 / 기계 학습