위키득계정 ↗
기술

DART 트리 부스팅

DART 트리 부스팅기술
연구 공개
2015년
발표
AISTATS 2015
영문 이름
Dropouts meet Multiple Additive Regression Trees
기본 모형
MART
DART는 가산 회귀 트리 앙상블에 드롭아웃을 적용하는 부스팅 방법이다. 뒤에 추가한 트리가 소수 예시에만 영향을 주는 과도한 전문화 문제를 다룬다.

과도한 전문화

MART에서는 뒤에 추가한 트리가 일부 예측에만 영향을 주고 나머지에는 거의 기여하지 않을 수 있다. 원 연구는 이를 과도한 전문화로 부르며 초기 트리의 기여에 지나치게 민감해지는 문제를 분석했다.

드롭아웃의 도입

통상적인 축소율 조정은 이 문제를 일부 완화하지만 근본적인 전문화가 남을 수 있다. DART는 신경망에서 사용하던 드롭아웃을 가산 회귀 트리에 적용하는 다른 접근을 제안했다.

세 과제의 평가

공개 대규모 자료의 순위, 회귀, 분류 과제에서 MART와 비교했다. 연구는 예측 성능과 과도한 전문화가 어느 정도 완화되는지를 함께 평가했다.

관련 문서

기울기 부스팅 / 드롭아웃 / 회귀 트리 / XGBoost / LightGBM / 앙상블 학습