위키득계정 ↗
기술

가우스 나이브 베이즈

가우스 나이브 베이즈기술
영문명
Gaussian naive Bayes
특징 모형
범주별 단변량 정규분포
핵심 가정
범주를 조건으로 한 특징들의 독립
주요 추정값
사전확률과 평균 및 분산
가우스 나이브 베이즈는 범주가 주어졌을 때 각 수치 특징을 정규분포로 나타내고, 특징들의 조건부 독립을 가정해 범주를 예측하는 방법이다. 범주별 사전확률과 특징별 평균 및 분산을 이용한다.

범주별 점수

입력 x에 대해 각 범주의 사전확률에 특징별 조건부 밀도를 곱한다. 이 점수를 범주 전체에서 정규화하면 모형의 사후확률을 얻는다. 여러 작은 수의 곱은 수치적으로 불안정해질 수 있어 로그 사전확률과 로그 밀도의 합으로 계산할 수 있다. 연속값의 밀도는 한 점의 확률과 구별해야 한다.

한 특징의 예

범주 A와 B의 사전확률이 각각 0.5이고, 특징의 평균은 A에서 0, B에서 2, 분산은 둘 다 1이라고 하자. 입력 0.5에서 공통 상수를 제외한 밀도는 각각 exp(-0.125), exp(-1.125)다. A의 점수가 B보다 e배 크므로 A의 사후확률은 e/(1+e), 약 0.731이다. 사전확률을 바꾸면 같은 입력에서도 결과가 달라질 수 있다.

독립의 의미

특징이 원자료 전체에서 서로 독립이어야 한다는 가정은 아니다. 범주를 고정했을 때의 독립을 가정한다. 실제로 강하게 의존하는 특징을 여러 번 넣으면 같은 근거를 중복 반영할 수 있다. 분류가 잘 되더라도 확률값까지 정확히 보정되었다고 단정할 수 없다.

분산과 평가

한 범주 안에서 특징 값이 거의 같으면 분산 추정이 작아져 계산에 큰 영향을 줄 수 있다. 안정화를 위한 분산 보정과 충분한 표본 수를 검토해야 한다. 정규분포 가정이 자료에 맞는지 살피고, 별도 평가 자료로 분류 성능과 확률 보정 상태를 각각 확인한다.

관련 문서

정규분포 / 베이즈 정리 / 조건부 독립 / 분산 / 확률 보정 곡선 / 로그 손실 / 기계 학습