특징마다 계산하기
한 특징의 평균 μ, 양수 표준편차 s를 사용하면 z=(x-μ)/s다. 다른 특징에는 그 특징의 통계를 사용한다. 각 표본의 길이를 1로 맞추는 벡터 정규화나 배치 안에서 활성값을 조절하는 배치 정규화와 계산 범위가 다르다.
훈련과 새 입력의 예
훈련값 (2,4,6)의 평균은 4다. 분산을 편차 제곱합/3으로 계산하면 8/3이고 표준편차는 √(8/3)이다. 새 값 8은 저장된 통계로 √6, 약 2.44949가 된다. 새 입력을 보고 평균을 다시 계산하면 같은 변환이 아니다.
정규분포를 만드는가
상수 이동과 양의 배율 변경만으로 비대칭성이나 여러 봉우리가 사라지지는 않는다. 훈련 자료의 평균과 분산을 맞추는 것과 분포를 정규분포로 바꾸는 것은 다르다. 새 자료의 평균과 분산까지 0과 1이라고 보장할 수도 없다.
실제 적용 조건
분산이 0인 특징은 표준편차로 그대로 나눌 수 없어 별도 규약이 필요하다. 이상치는 평균과 표준편차에 큰 영향을 줄 수 있다. 평가 자료를 포함해 통계를 계산하지 않도록 교차 검증의 훈련 구간 안에서 전처리를 맞춰야 한다. 희소 자료의 중심화는 0을 바꾸어 저장 규모를 키울 수도 있다.