이차 판별 분석

퍼짐이 다른 범주

각 범주의 평균과 공분산, 사전확률을 사용해 조건부 밀도와 사후확률을 비교한다. 공분산이 서로 다르면 어떤 범주는 좁고 높은 밀도를, 다른 범주는 넓은 퍼짐을 나타낼 수 있다. 같은 공분산을 공유할 때 상쇄되던 입력의 이차항이 일반적으로 남는다.

같은 평균의 두 범주

일차원에서 두 범주의 평균이 모두 0이고 분산은 A가 1, B가 4, 사전확률은 같다고 하자. B와 A의 밀도 비율은 0.5×exp(3x^2/8)이다. x=0에서는 A의 밀도가 두 배지만 x=2에서는 B가 약 2.24배다. 경계는 x^2=8log(2)/3, 즉 약 -1.36과 1.36이다. 가운데에서는 A를, 양 바깥에서는 B를 선택한다.

유연성과 추정량

범주마다 다른 공분산을 허용하면 더 많은 매개변수를 추정해야 한다. 특징이 d개일 때 대칭 공분산 하나에는 d(d+1)/2개의 서로 다른 원소가 있다. 범주별 표본이 적으면 이런 유연성이 불안정한 추정이나 과적합으로 이어질 수 있다. 복잡한 경계가 항상 높은 새 자료 성능을 뜻하지는 않는다.

규제와 평가

공분산의 규제나 축소 추정을 사용해 불안정성을 줄일 수 있다. 특징의 중복이나 작은 범주 표본 수를 확인하고 설정은 훈련 자료 안에서 검증한다. 실제 범주 분포가 정규분포와 얼마나 다른지도 살펴야 한다. 분류 성능과 확률 보정 품질을 별도 자료에서 각각 평가한다.