위키득계정 ↗
기술

XGBoost

XGBoost기술
대표 논문 공개
2016년
발표
KDD 2016
모델 계열
트리 부스팅
주요 기법
희소성 인지 학습과 가중 분위수 스케치
XGBoost는 대규모 자료의 트리 부스팅을 위한 학습 시스템이다. 희소한 입력 처리와 근사 분할 탐색, 메모리 및 저장 장치의 효율을 함께 설계한 연구에서 제안됐다.

희소한 입력의 처리

원 연구는 희소 자료를 인지하는 학습 알고리즘을 제안했다. 입력의 희소성을 학습 절차에서 다뤄 대규모 자료에 적합한 트리 부스팅 시스템을 구성했다.

근사 트리 학습

가중 분위수 스케치를 이용해 근사 트리 학습을 지원한다. 분할 후보를 다루는 알고리즘과 전체 학습 시스템의 확장성을 함께 고려한 접근이다.

시스템 수준의 효율

캐시 접근 패턴, 자료 압축, 샤딩을 분석해 시스템을 설계했다. 원 연구는 이러한 요소를 결합해 큰 예시 집합에서 필요한 자원을 줄이는 방향을 조사했다.

관련 문서

기울기 부스팅 / 의사 결정 트리 / 분위수 / 희소 행렬 / 캐시 / FT-Transformer