타깃 인코딩

범주의 통계로 표현하기

단순한 이진 예에서 범주 A의 정답이 (1,1,0)이면 범주 평균은 2/3이다. 원핫처럼 별도 표시 열을 만드는 대신 이 통계를 수치 특징으로 사용할 수 있다. 이 값은 범주의 고정된 진리가 아니라 사용한 학습 자료에서 추정한 값이다.

평균을 완화하기

한 가지 완화 규칙은 (범주 목표값 합+α×전체 평균)/(범주 표본 수+α)다. 전체 평균이 1/2, α=2라면 앞 예는 (2+1)/(3+2)=0.6이다. α를 크게 하면 전체 평균의 비중이 커진다. 실제 구현의 완화 계수 추정 규칙은 따로 확인해야 한다.

교차 적합이 필요한 이유

한 번만 등장한 범주에 그 표본의 정답을 그대로 평균내면 입력 특징이 자기 정답을 드러낸다. 훈련 자료를 나누고 각 부분을 나머지 부분의 통계로 변환하는 교차 적합은 이런 자기 참조를 줄이는 방법이다. 전체 자료로 맞춘 뒤 같은 자료를 변환하는 것과 결과가 다를 수 있다.

평가와 새 범주

검증·시험 자료의 정답을 인코딩 통계에 넣으면 안 된다. 학습에서 보지 못한 범주에는 전체 평균 등 사전에 정한 규칙을 적용한다. 범주 수가 많다는 이유만으로 항상 이 방법이 유리한 것은 아니며, 완화 강도와 분할 규칙까지 포함해 독립된 자료로 평가해야 한다.