베르누이 나이브 베이즈

없음도 정보다

범주 c에서 특징 j가 1일 확률을 p라고 하면, 값이 1일 때는 p를, 0일 때는 1-p를 해당 범주의 점수에 곱한다. 모든 특징의 기여와 사전확률을 결합한 후 범주 사이에서 정규화한다. 따라서 나타난 단어의 횟수만 곱하는 모형과 달리 나타나지 않은 특징도 점수에 영향을 준다.

두 특징의 예

사전확률이 같은 두 범주를 생각하자. A에서 두 특징의 출현 확률이 0.8과 0.7, B에서는 0.4와 0.1이라고 하자. 입력 (1,0)의 조건부 확률은 A가 0.8×0.3=0.24, B가 0.4×0.9=0.36이다. 사후확률은 A가 0.4, B가 0.6이 된다. 첫 특징만 보면 A에 유리하지만 둘째 특징의 비출현까지 반영하면 B를 고른다.

횟수와 평활화

단어 출현을 이진화하면 한 번과 열 번의 차이는 사라진다. 횟수가 필요한 문제와 출현 여부가 중요한 문제를 구분해야 한다. 학습에서 한 번도 보지 못한 조합 때문에 확률이 0이 되는 것을 완화하려고 출현·비출현 횟수에 보정값을 더할 수 있다. 보정 강도도 모형의 선택 사항이다.

가정과 평가

이진 입력이라고 특징 간 의존성이 없어지는 것은 아니다. 비슷한 특징을 반복하면 같은 근거를 여러 번 반영할 수 있다. 이진화 문턱, 사전확률, 평활화 강도를 훈련 자료에서 정하고 별도 자료로 평가한다. 분류 정확도와 확률 보정 품질은 구분하여 살펴야 한다.