잠재 요인과 관측값
관측 벡터를 x=μ+Wz+ε로 나타낼 수 있다. z는 직접 보지 못하는 잠재 요인, W는 요인 적재 행렬, ε는 잡음이다. z의 평균을 0, 공분산을 단위행렬로 두고 독립 잡음의 공분산을 대각행렬 Ψ로 두면 관측 공분산은 W와 W의 전치행렬을 곱한 값에 Ψ를 더한 값이다.
하나의 요인 예
평균 0, 분산 1인 요인 z에 대해 x1=2z+ε1, x2=z+ε2라고 하자. 서로 독립인 잡음 분산이 각각 1과 4이면 x1과 x2의 분산은 둘 다 5지만 공분산은 2다. 같은 전체 분산을 가졌어도 공통 요인의 기여는 첫 특징이 4, 둘째가 1로 다르다. 이 예는 모형의 가정으로 만든 계산이다.
주성분 분석과 차이
주성분 분석은 관측 자료의 큰 분산 방향을 찾는다. 요인 모형은 공통 요인과 특징별 잡음이라는 생성 구조를 둔다. 특징마다 서로 다른 잡음 분산을 허용하는지에 따라 가정이 달라진다. 따라서 차원을 줄인 결과라는 이유만으로 두 방법의 좌표와 해석을 같게 취급해서는 안 된다.
요인의 해석
잠재 요인의 부호나 회전은 같은 관측 공분산을 만들 수 있어 적재값만으로 유일한 실체를 확정하기 어렵다. 추정된 요인에 붙이는 이름도 별도 해석이다. 요인 수와 잡음 가정, 표준화 여부를 검토하고 적합도와 안정성을 확인한다. 요인이 발견되었다고 인과 원인이 증명된 것은 아니다.