위키득계정 ↗
기술

LightGBM

LightGBM기술
대표 논문 발표
2017년
발표
NeurIPS 2017
표본 기법
Gradient-based One-Side Sampling
특징 기법
Exclusive Feature Bundling
LightGBM은 큰 자료와 많은 특징에서 트리 부스팅을 효율적으로 학습하도록 설계한 시스템이다. 초기 연구는 기울기 기반 표본 추출과 상호 배타적 특징 묶기를 핵심 기법으로 제안했다.

분할 탐색의 비용

모든 특징의 분할 후보마다 자료를 훑어 정보 이득을 추정하면 고차원 대규모 자료에서 비용이 커진다. 연구는 표본 수와 특징 수 양쪽을 줄이는 두 접근을 결합했다.

기울기 기반 표본 추출

GOSS는 작은 기울기를 가진 예시의 상당 부분을 제외하고 남은 자료로 정보 이득을 추정한다. 큰 기울기의 예시가 정보 이득 계산에 미치는 역할을 활용하는 방식이다.

상호 배타적 특징 묶기

EFB는 동시에 0이 아닌 값을 거의 갖지 않는 특징을 묶어 특징 수를 줄인다. 최적 묶기 문제는 NP-난해하지만 탐욕적인 근사로 분할 정확도의 손실을 작게 유지하는 구성을 연구했다.

관련 문서

XGBoost / CatBoost / 기울기 부스팅 / 의사 결정 트리 / 정보 이득 / NP 난해