순열 중요도

모델은 그대로 두기

먼저 원래 평가 자료의 점수를 구한다. 한 특징 열의 순서만 무작위로 바꾸고 같은 모델로 다시 평가한다. 큰 점수가 좋은 지표라면 원래 점수에서 바뀐 점수를 뺀다. 특징을 제거하고 모델을 새로 학습하는 방법과는 다르다.

네 표본의 예

정답이 (0,0,1,1)이고 모델이 첫 특징 (0,0,1,1)을 그대로 예측한다고 하자. 원래 정확도는 1이다. 그 열을 (1,0,1,0)으로 섞은 한 시행의 정확도는 1/2이므로 중요도는 1/2이다. 다른 순열에서는 다른 값이 나올 수 있어 여러 번 반복해 평균과 변동을 볼 수 있다.

점수 방향과 음수 값

원래 점수가 0.8이고 섞은 뒤 0.82라면 중요도는 -0.02다. 표본 변동이나 모델의 잘못된 의존 등 여러 이유가 가능하므로 음수를 무조건 계산 오류로 취급할 수는 없다. 손실처럼 작은 값이 좋은 지표를 쓰면 감소량의 부호 규약을 맞춰야 한다.

작은 값의 해석

모델이 어떤 열을 전혀 쓰지 않으면 그 열이 정답과 관련 있어도 순열 중요도는 작을 수 있다. 비슷한 정보를 가진 다른 열이 결과를 보완할 수도 있다. 따라서 모델·평가 자료·점수와 함께 해석하고, 독립된 평가 자료에서의 결과를 훈련 자료 결과와 구분해야 한다.