위키득계정 ↗
기술

소프트 결정 트리 증류

소프트 결정 트리 증류기술
연구 공개
2017년
발표
AI*IA CEX 워크숍
분기 구성
학습한 필터의 시그모이드 확률
학습 방식
미니배치 경사 하강과 지식 증류
소프트 결정 트리 증류는 신경망의 예측 지식을 확률적인 분기를 갖는 결정 트리로 옮기는 방법이다. 분산된 은닉 표현 대신 계층적인 결정을 통해 예측을 설명하려는 접근이다.

확률적 분기와 잎

내부 노드는 학습한 필터와 편향으로 오른쪽 분기의 확률을 계산한다. 각 잎에는 학습한 클래스 분포가 있고 입력별 경로 확률로 잎에 도달할 가능성을 나타낸다.

신경망의 지식 전달

학습한 신경망의 예측과 실제 표지를 결합한 부드러운 목표로 트리를 학습한다. 원 연구는 직접 표지로만 학습한 트리보다 일반화가 나아질 수 있음을 조사했다.

설명의 선택

가장 높은 경로 확률의 잎을 택하면 그 경로의 필터와 분기 결정으로 예측을 설명할 수 있다. 모든 잎의 분포를 경로 확률로 평균하면 설명에 필요한 노드가 늘어나므로 정확도와 설명 복잡성의 절충이 생긴다.

관련 문서

지식 증류 / 의사 결정 트리 / 시그모이드 함수 / gcForest / 신경 가산 모델 / LIME