랜덤 포레스트 회귀

나무를 다르게 만들기

학습 표본을 중복 허용 추출하거나 분할마다 특징 후보를 무작위로 선택해 서로 다른 나무를 만든다. 그 나무들에 같은 입력을 넣고 나온 수치들을 모은다. 분류의 범주 투표와 회귀의 수치 평균은 구분해야 한다. 무작위성을 넣었다고 나무의 오류가 완전히 독립이 되는 것은 아니다.

평균의 예

세 나무의 예측이 8,10,18이면 평균은 12다. 실제 목표값이 11이었다면 평균 예측의 제곱 오차는 1이다. 첫 나무 하나의 오차는 9지만 둘째 나무는 1로 같고, 목표값이 달라지면 비교도 달라진다. 한 사례의 평균이 좋았다는 사실로 모든 입력에서 각 나무보다 우수하다고 말할 수는 없다.

오류의 의존성

평균이 줄일 수 있는 변동은 나무 사이의 의존성에 영향을 받는다. 예를 들어 같은 분산 σ²를 가진 두 예측의 상관계수가 ρ라면 그 평균의 분산은 σ²(1+ρ)/2다. ρ=0이면 절반이지만 ρ=1이면 줄어들지 않는다. 이는 단순한 확률 계산이며 실제 숲의 모든 나무가 같은 분산과 상관을 갖는다는 가정은 아니다.

검증과 비용

나무 수가 늘면 학습·예측과 저장 비용도 커질 수 있다. 깊이와 잎 크기, 표본·특징 선택 설정도 함께 검증한다. 시간 순서나 그룹 구조를 지켜 평가하고 중요도 수치를 인과관계로 해석하지 않는다. 상수 잎의 예측을 평균하는 방식은 자료 범위 밖의 추세를 자동으로 연장하는 모형과 다르다.