위키득계정 ↗
기술

NODE-GAM

NODE-GAM기술
연구 공개
2021년
발표
ICLR 2022
기반 구조
Neural Oblivious Decision Ensembles
확장 모형
NODE-GA2M
NODE-GAM은 미분 가능한 트리 기반 구조를 일반화 가산 모델로 제한해 해석 가능성을 확보하는 신경 모델이다. 같은 연구의 NODE-GA2M은 특징 쌍의 상호작용도 포함한다.

상호작용을 제한하는 구조

일반적인 NODE의 표현을 가산 구조로 바꾸기 위해 게이팅 기제를 설계했다. 학습 과정에서 높은 차수의 특징 상호작용을 줄이며 주변 효과와 특징 쌍을 역전파로 선택한다.

쌍별 효과의 확장

NODE-GAM은 개별 특징의 효과를 가산한다. NODE-GA2M은 여기에 두 특징 사이의 상호작용을 더해 가산적인 주변 효과만으로 표현하기 어려운 관계도 다룬다.

미분 가능성과 사전 학습

미니배치 학습과 GPU 최적화를 활용할 수 있으며 자기 지도 사전 학습과 미세 조정도 가능하다. 연구는 표 자료에서 성능과 해석을 평가하고 표지가 제한된 조건에서 사전 학습의 효과를 조사했다.

관련 문서

신경 가산 모델 / 일반화 가산 모형 / 의사 결정 트리 / 역전파 / 자기 지도 학습 / 신경망 가중치의 상호작용 탐지