위키득계정 ↗
기술

뉴런 적분 기울기

뉴런 적분 기울기기술
공개
2018년
영문 이름
Neuron Integrated Gradients
분석 대상
내부 뉴런의 중요도
연결 개념
Total Conductance
뉴런 적분 기울기는 신경망의 내부 뉴런 중요도를 효율적으로 계산하는 접근이다. 총 전도도와 은닉 층에서 계산한 경로 적분 기울기의 수학적 동등성을 활용한다.

내부 뉴런의 중요도

입력 특징뿐 아니라 신경망 안의 개별 뉴런이 중요한 정도도 해석 대상이 된다. 이 연구는 적분 기울기를 확장한 총 전도도를 더 효율적으로 계산하는 문제를 다뤘다.

경로 적분과의 동등성

총 전도도 식이 은닉 층에서 계산한 경로 적분 기울기와 수학적으로 같음을 보였다. 이를 이용해 표준 TensorFlow 기울기 연산자로 확장 가능한 구현을 제시했다.

효율과 이론적 성질

내부 뉴런 중요도에 적용한 DeepLIFT와 비교했다. 원 연구는 DeepLIFT의 빠른 계산과 강한 실험 결과를 관찰하면서도 뉴런 적분 기울기의 이론적 성질과는 구분해 논의했다.

관련 문서

적분 기울기 / DeepLIFT / Captum / 적분 헤시안 / FullGrad / Quantus