잡음을 더하는 규칙
고정 입력 x에 대해 ε가 평균 0, 분산 σ²인 정규분포를 따르면 y=x+ε다. y의 기댓값은 x이고 분산은 σ²다. 입력이 무작위 변수라면 잡음과 독립이라는 조건에서 출력 분산은 입력 분산에 σ²를 더한 값이다.
값과 분포를 구분하기
입력이 2이고 잡음 표준편차가 0.2이면 출력 평균은 2, 분산은 0.04다. 한 시행에서 잡음이 -0.1이었다면 출력은 1.9다. 표준편차 0.2는 모든 잡음이 -0.2부터 0.2 사이에 있어야 한다는 경계가 아니다.
평균 보존의 한계
같은 설정에서 출력 제곱의 기댓값은 4.04다. 입력 제곱 4와 다르다. 따라서 잡음 평균이 0이라고 이후의 비선형 함수나 손실의 평균까지 원래와 같아지는 것은 아니다. 실제 학습에는 변동을 통과한 전체 계산이 영향을 받는다.
규모와 사용 시점
표준편차 0.2의 의미는 자료의 단위와 전처리에 따라 달라진다. 값의 범위가 0부터 1일 때와 수천 단위일 때 같은 상대적 변동은 아니다. 학습 모드를 확인하고 검증 자료로 영향을 평가해야 하며, 잡음을 추가한다고 모든 오류나 과적합이 줄어드는 것은 아니다.