탐욕적 성장의 한계
결정 트리 학습은 비볼록이고 미분 불가능한 최적화 문제다. 내부 노드마다 불순도를 줄이는 탐욕적 방식은 국소 선택이 전체 트리의 정확도를 제한할 수 있다.
공동 모수 최적화
GradTree는 조밀한 결정 트리 표현에 직통 연산자를 적용한 역전파를 사용한다. 이를 통해 단단한 축 정렬 분할을 다루면서 트리 모수를 공동으로 학습하는 접근을 제안했다.
분류 벤치마크의 평가
원 연구는 이진 분류 벤치마크와 다중 클래스 과제에서 기존 방법과 비교했다. 결과는 해당 평가의 관찰이며 경사 기반 최적화와 일반적인 트리 성장 방식을 구분해 이해할 수 있다.
관련 문서
DNDT / 소프트 결정 트리 증류 / OSDT 최적 희소 결정 트리 / 역전파 / 경사 하강법 / 의사 결정 트리