중복을 허용한 자료 만들기
원래 표본이 네 개 A,B,C,D라면 한 학습 집합은 A,A,C,D, 다른 집합은 B,C,C,C가 될 수 있다. 크기가 원자료와 같아도 포함된 고유 표본은 같지 않다. 표본을 다시 뽑는 무작위성과 기본 모형의 학습을 결합해 여러 결과를 만든다.
뽑히지 않을 확률
네 표본을 균등 확률로 네 번 독립 추출할 때 특정 A가 한 번도 뽑히지 않을 확률은 (3/4)^4=81/256, 약 0.316이다. 빠진 고유 표본 수의 기대값은 네 배인 약 1.266이다. 실제 집합마다 빠진 개수가 정확히 이 값인 것은 아니다. 뽑히지 않은 표본은 해당 모형을 평가하는 데 활용할 수 있다.
예측의 결합
회귀에서는 수치 예측의 평균을, 분류에서는 투표나 확률 평균을 사용할 수 있다. 어떤 결합 규칙인지는 도구와 기본 모형에 따라 확인해야 한다. 서로 다른 모형이 같은 방향으로 틀리면 결합만으로 그 오류가 사라지지 않는다. 같은 모형을 복제만 하고 자료도 학습도 동일하게 유지하면 다양성을 얻기 어렵다.
비슷한 기법과 평가
중복 없이 부분 표본을 뽑는 방식이나 특징 부분집합만 사용하는 방식은 전형적인 배깅과 구분된다. 랜덤 포레스트는 나무 학습의 특징 선택에도 무작위성을 넣는다. 뽑히지 않은 표본을 이용한 평가가 있어도 시간 순서나 그룹 의존성을 자동으로 해결하지는 않는다. 별도 검증과 계산 비용을 함께 살핀다.
관련 문서
부트스트랩 (통계학) / 의사결정나무 분류 / 회귀나무 / 랜덤 포레스트 분류 / 랜덤 포레스트 회귀 / 그룹 교차 검증 / 기계 학습