위키득계정 ↗
기술

신경망 가중치의 상호작용 탐지

신경망 가중치의 상호작용 탐지기술
공개
2017년
학회
ICLR 2018
분석 대상
학습된 신경망 가중치
목표
통계적 특징 상호작용 탐지
신경망 가중치의 상호작용 탐지는 학습된 가중치를 직접 해석해 입력 특징 사이의 통계적 상호작용을 찾는 접근이다. 순방향 다층 신경망에 인코딩된 상호작용 경로를 분석한다.

가중치를 직접 해석하기

원 연구는 순방향 다층 신경망이 포착한 통계적 상호작용을 학습 가중치에서 찾는 프레임워크를 제안했다. 가능한 모든 특징 조합을 탐색하는 비용을 피하려는 접근이다.

비가산적인 활성화

비선형 활성화 함수의 비가산적 효과가 입력 특징의 상호작용을 만든다는 관찰을 활용한다. 상호작용 경로가 가중치 행렬에 담긴다는 점을 탐지의 단서로 사용한다.

합성 및 실제 자료의 평가

합성 자료와 실제 응용 자료에서 상호작용 탐지 성능을 평가했다. 발견한 상호작용의 중요성도 조사하며 모델 내부의 특징 관계를 해석하는 데 활용했다.

관련 문서

적분 헤시안 / SHAP / DeepLIFT / 문맥 분해 / Captum / Quantus