위키득계정 ↗
기술

부분 의존도

부분 의존도기술
영문명
Partial dependence
대표 시각화
부분 의존도 곡선
변경 대상
관심 특징 값
요약 대상
기준 자료에 대한 모델 예측 평균
부분 의존도는 관심 특징의 값을 바꾸어 넣었을 때 학습된 모델의 평균 예측이 어떻게 변하는지 살피는 방법이다. 다른 특징은 기준 자료의 값들을 사용해 평균낸다. 모델의 반응을 요약하며 실제 개입의 인과 효과와는 구별된다.

평균 반응 계산하기

관심 특징을 x, 나머지를 z라 하고 학습된 모델을 f라 쓰자. 기준 표본의 나머지 특징이 z₁부터 zₙ이면 경험적 부분 의존도는 f(x,zᵢ)를 모두 더해 n으로 나눈 값이다. 각 x마다 모델을 새로 학습하는 것은 아니다.

간단한 선형 예

모델이 f(x,z)=2x+z이고 기준 자료의 z가 1과 3이면 부분 의존도는 2x+2다. x=0에서 2, x=2에서 6이다. 이는 두 기준 표본의 예측을 평균낸 값으로, 실제 자료에서 x=2였던 표본만 골라 평균내는 조건부 평균과 다를 수 있다.

평균이 숨기는 차이

모델이 f(x,z)=xz이고 기준 z가 -1과 1이면 부분 의존도는 모든 x에서 0이다. 그러나 개별 반응은 -x와 x로 서로 반대다. 평균 곡선이 평평해도 모델이 x를 전혀 사용하지 않는다고 결론 내릴 수 없다. 개별 조건부 기대 곡선을 함께 볼 수 있다.

관측 범위와 해석

관심 특징과 다른 특징의 연관성이 강하면 값을 바꾸는 과정에서 실제로 드문 조합을 만들 수 있다. 이때 평균 곡선은 모델의 외삽을 반영할 수 있다. 반응을 확률로 볼지 결정 점수로 볼지도 구분하고, 곡선을 실제 원인과 결과의 관계로 곧바로 해석하지 않아야 한다.

관련 문서

순열 중요도 / 분산 기반 특징 선택 / 교차 검증 / 로지스틱 회귀 / 인공 신경망 / 기계 학습