횟수로 쌓이는 근거
범주 c에서 항목 j의 확률을 θ라 하면 출현 횟수 x만큼 θ를 거듭제곱해 점수에 반영한다. 로그 공간에서는 x×log(θ)를 더한다. 모든 항목의 기여와 로그 사전확률을 합해 범주를 비교한다. 같은 입력에 공통인 다항 계수는 범주 순위를 비교할 때 생략할 수 있다.
두 단어의 계산
두 단어에 대한 확률이 A에서는 (0.75,0.25), B에서는 (0.25,0.75)이고 사전확률은 같다고 하자. 문서 횟수가 (2,1)이면 공통 상수를 뺀 점수는 A가 0.75^2×0.25=0.140625, B가 0.25^2×0.75=0.046875다. 비율이 3대 1이므로 사후확률은 A가 0.75다. 횟수를 (1,1)로 바꾸면 이 예에서는 두 점수가 같아진다.
평활화의 역할
어떤 범주에서 특정 항목을 한 번도 관찰하지 못하면 보정 없는 추정 확률이 0이 되어 곱 전체가 0이 될 수 있다. 항목별 횟수에 작은 양을 더하고 전체 합도 맞춰 평활화할 수 있다. 이 값은 실제 관측을 대신하는 확정 사실이 아니라 추정의 안정성을 조절하는 설정이다.
적용 범위
정수 횟수를 가정하는 모형이지만 실무에서는 TF-IDF처럼 음수가 아닌 가중치로도 쓰인다. 다만 이 경우 정수 출현을 세는 확률적 해석과 예측 도구로서의 활용을 구분해야 한다. 음수 특징은 그대로 적합하지 않다. 문맥이나 특징 의존성을 충분히 표현하지 못할 수 있어 별도 자료에서 성능과 확률 보정을 확인한다.
관련 문서
베르누이 나이브 베이즈 / 가우스 나이브 베이즈 / 다항 분포 / 단어 주머니 모형 / TF-IDF / 베이즈 정리 / 로그 손실 / 기계 학습