범주형 나이브 베이즈

특징 범주와 예측 범주

입력 특징의 범주와 예측하려는 범주는 서로 다른 역할이다. 예를 들어 색상과 재질은 입력 특징이고 제품 유형이 예측 대상일 수 있다. 모형은 제품 유형을 고정했을 때 각 색상과 재질이 얼마나 나타나는지 추정한다. 입력값을 정수 번호로 표현해도 번호 차이가 수치적 거리라는 뜻은 아니다.

조건부 확률의 결합

예측 범주 A와 B의 사전확률이 같다고 하자. A에서 빨강의 확률이 0.6, 금속의 확률이 0.2이고 B에서는 각각 0.3과 0.8이라고 하자. 빨강이면서 금속인 입력의 조건부 독립 모형 점수는 A가 0.12, B가 0.24다. 정규화하면 사후확률은 A가 1/3, B가 2/3이다. 두 특징의 실제 의존 관계를 이 계산이 자동으로 반영하는 것은 아니다.

횟수와 다른 입력

어떤 특징의 값이 2라는 것은 세 번째 범주를 가리킬 수 있다. 같은 항목이 두 번 나왔다는 뜻으로 사용하는 다항 나이브 베이즈와 다르다. 각 열마다 별도의 범주 목록을 일관되게 관리해야 한다. 범주 번호를 바꾸면 학습과 예측의 대응도 함께 맞춰야 한다.

미관측 값과 평가

학습에서 드물거나 보지 못한 값에 대해서는 평활화와 범주 공간을 어떻게 정할지 검토해야 한다. 평활화가 학습 때 정의되지 않은 모든 새 범주를 자동으로 처리해 주는 것은 아니다. 범주 변환 규칙을 훈련 부분에서 정하고 평가 자료에 같은 규칙을 적용한다. 정확도뿐 아니라 확률값의 신뢰성도 별도로 확인한다.