선형 판별 분석

공유 공분산의 역할

범주별 다변량 정규밀도를 비교할 때 공통 공분산을 쓰면 입력의 이차항이 상쇄된다. 남은 점수 차이는 입력의 선형식과 상수로 나타난다. 특징 사이의 공분산을 사용할 수 있으므로 각 특징의 조건부 독립을 가정하는 가우스 나이브 베이즈와 구별된다.

일차원 경계

A의 평균이 0, B의 평균이 4이고 공통 분산이 4라고 하자. 사전확률이 같으면 B와 A의 로그 점수 차이는 x-2여서 경계는 x=2다. A의 사전확률을 0.8, B를 0.2로 바꾸면 차이는 x-2+log(0.25)다. B를 고르려면 x가 약 3.386보다 커야 한다. 평균과 분산이 같아도 사전확률이 경계를 바꾼다.

지도 차원 축소

범주를 구분하는 방향으로 자료를 투영하는 데도 사용할 수 있다. 특징 수가 d, 범주 수가 C이면 일반적인 판별 부분공간의 차원은 최대 min(d,C-1)이다. 전체 분산이 큰 축을 찾는 주성분 분석과 달리 범주 정보가 사용된다. 차원 수를 줄이는 선택과 분류기의 전체 설정은 같은 의미가 아니다.

추정과 평가

특징이 많고 표본이 적거나 특징들이 거의 중복되면 공분산 추정이 불안정할 수 있다. 축소 추정이나 적절한 수치 해법을 검토해야 한다. 모형의 선형 경계가 실제 범주 구조에 맞는지도 별도 자료로 평가한다. 차원 축소와 공분산 추정을 평가 자료까지 포함해 수행하면 성능 추정에 정보가 섞일 수 있다.