분포를 섞는 방법
혼합 가중치는 0 이상이고 합은 1이다. 성분별 밀도에 해당 가중치를 곱해 더하면 전체 밀도가 된다. 이는 각 성분에서 뽑은 수치들을 고정 비율로 더하는 확률변수의 선형 결합과 다르다. 혼합에서는 먼저 어느 성분에서 나올지 정한 뒤 그 성분의 분포에서 값을 뽑는 해석이 가능하다.
두 성분의 평균과 분산
성분 평균이 -2와 2, 분산은 둘 다 1이고 혼합 비중이 1/4과 3/4이라고 하자. 전체 평균은 1이다. 전체 분산은 성분 내부 분산 1에 성분 평균의 퍼짐 (1/4)×9+(3/4)×1을 더한 4다. 평균이 두 평균의 가중평균이라고 분산도 단순히 두 분산의 가중평균인 것은 아니다.
비중과 사후 배정
전체 혼합 비중 1/4이 모든 표본의 첫 성분 소속 확률이라는 뜻은 아니다. 특정 x를 관찰하면 각 성분의 밀도와 혼합 비중을 곱해 정규화한 사후확률을 계산한다. 이 확률을 이용하면 한 성분에만 즉시 고정 배정하는 것과 다른 부드러운 군집 해석이 가능하다.
추정과 선택
EM 같은 반복 알고리즘으로 성분과 가중치를 추정할 수 있다. 초기값과 성분 수, 공분산 형태 및 규제가 결과에 영향을 준다. 수렴했다고 전역 최적해를 보장하지는 않는다. 성분 수를 늘려 학습 적합도가 좋아져도 새 자료의 적합성이 좋아지는 것은 아니므로 검증과 복잡도 기준을 함께 살핀다.
관련 문서
정규분포 / 공분산 행렬 / 기대값 / 분산 / 베이즈 정리 / K 평균 군집화 / 커널 밀도 추정 / 기계 학습