위키득계정 ↗
기술

OSDT 최적 희소 결정 트리

OSDT 최적 희소 결정 트리기술
연구 공개
2019년
발표
NeurIPS 2019
영문 이름
Optimal Sparse Decision Trees
간결성 기준
잎 노드 수
OSDT는 이진 특징으로 구성한 결정 트리의 정확도와 간결함을 함께 최적화하는 알고리즘이다. 탐욕적으로 분할하는 대신 정규화 손실을 기준으로 트리를 탐색한다.

트리 전체의 최적화

위에서부터 분할을 고르는 방식은 초기에 좋지 않은 선택을 하면 뒤에 많은 분할이 필요할 수 있다. OSDT는 정확도와 잎 수의 균형을 담은 정규화 손실로 트리를 평가한다.

경계를 이용한 가지치기

분석적으로 구한 경계로 탐색 공간을 줄이고 전용 자료 구조와 비트 벡터 연산으로 계산을 효율화한다. 중간 계산과 대칭성을 저장하는 구성도 탐색 비용을 낮추는 데 사용한다.

최적성과 문제 범위

원 연구는 이진 변수의 결정 트리를 대상으로 최적성 또는 최적성에 얼마나 가까운지 증명하는 접근을 제시했다. 최적성은 선택한 정규화 손실에 관한 것이며 트리의 가능한 구조를 미리 하나로 고정하는 문제와 구분된다.

관련 문서

CORELS 최적 규칙 목록 / SBRL 베이즈 규칙 목록 / 의사 결정 트리 / 분기 한정법 / 정규화 / 경험 위험 최소화