조건의 방향은 서로 다르다
A가 참일 때 B를 관측할 확률과 B를 관측했을 때 A가 참일 확률은 일반적으로 다르다. 베이즈 정리는 이 둘을 사전확률과 전체 관측 확률을 통해 연결한다.
B가 관측됐다는 사실만으로 A를 확정하려면 다른 경우에 B가 얼마나 나타나는지 알아야 한다. 신호가 특정 원인에서 자주 나온다는 정보 하나만으로 역방향 확률을 정할 수는 없다.
봉투 예시로 계산하기
봉투 열 개 중 두 개는 빨간 봉투라고 하자. 빨간 봉투에서 별 스티커가 나올 확률은 1/2이고, 나머지 봉투에서는 1/4이다. 무작위 봉투에서 스티커를 봤을 때 빨간 봉투일 확률을 구할 수 있다.
빨간 봉투이면서 스티커가 있을 확률은 (2/10)×(1/2)=1/10이다. 전체 스티커 확률은 1/10+(8/10)×(1/4)=3/10이므로, 관측 뒤 빨간 봉투일 확률은 1/3이다.
전체 관측 확률의 역할
분모 P(B)는 관측 B가 모든 가능한 원인 아래 얼마나 나타나는지를 합친 값이다. 서로 배타적이고 전체를 포괄하는 가설들을 사용하면 각 가설의 사전확률과 가능도를 곱해 더할 수 있다.
이 정규화가 있어야 여러 가설의 사후확률이 일관된 확률이 된다. 일부 원인을 빠뜨리거나 중복해서 세면 계산은 그 잘못된 모형을 반영하게 된다.
갱신과 모형의 가정
새 관측을 이용해 얻은 사후확률은 다음 관측을 처리할 때 사전확률로 사용할 수 있다. 다만 관측들이 서로 독립인지, 앞선 정보와 겹치는지에 따라 가능도를 올바르게 구성해야 한다.
베이즈 정리 자체는 확률의 관계식이며 입력 가정이 사실임을 보증하지 않는다. 사전확률과 관측 과정의 모형이 부정확하면 계산을 정확하게 해도 현실을 잘 설명하지 못할 수 있다.