랜덤 포레스트 분류

서로 다른 나무 만들기

대표적인 방식은 원자료에서 중복을 허용해 표본을 뽑아 각 나무를 학습한다. 분할할 때에도 모든 특징 대신 무작위로 고른 후보들을 비교할 수 있다. 모든 나무가 완전히 독립이 되는 것은 아니지만 같은 자료와 조건으로 똑같은 나무만 만드는 상황을 줄인다.

확률 평균의 예

어떤 입력에 대해 세 나무가 범주 A의 확률을 0.6, 0.6, 0.1로 예측했다고 하자. 범주별 확률을 평균하는 결합 방식이면 A의 최종 값은 1.3/3, 약 0.433이다. 두 범주 문제에서 B는 약 0.567이므로 B를 고른다. 각 나무의 최종 범주만 세면 A가 두 표지만, 확률 평균 방식의 결과는 다를 수 있다.

결합이 돕는 조건

나무들의 오류가 완전히 같지 않으면 결합으로 우연한 변동을 줄일 여지가 있다. 그러나 같은 방향의 편향이나 자료 오류까지 자동으로 없어지지는 않는다. 나무 수를 늘려도 깊이, 잎의 크기, 특징 후보 수가 부적절하면 원하는 성능을 보장할 수 없다. 계산 시간과 저장 비용도 함께 늘 수 있다.

평가와 해석

중복 추출을 쓸 때 각 나무의 학습에 뽑히지 않은 표본으로 별도 예측을 모아 평가할 수 있다. 이 평가도 시간 순서나 그룹 의존성을 저절로 해결하지는 않는다. 최종 검증 설계는 자료 구조에 맞춰야 한다. 중요도가 높게 나온 특징이 원인이라는 결론을 내리기보다 별도 분석과 순열 중요도 등을 함께 살핀다.