확률로 이웃값 선택하기
값이 아래쪽 표현값 a와 위쪽 표현값 b 사이에 있으면 위쪽을 고를 확률을 (x-a)/(b-a)로 둘 수 있다. 나머지 확률로 아래쪽을 고른다. 표현 범위 밖의 포화나 클리핑은 별도 문제이므로 같은 보장을 그대로 적용할 수는 없다.
십진 격자의 독립 예제
0.1 간격 격자에서 1.03은 확률 0.3으로 1.1, 확률 0.7로 1.0이 될 수 있다. 기댓값은 0.3×1.1+0.7×1.0=1.03이다. 한 번 계산한 결과가 1.03인 것은 아니며 반복 결과에는 변동이 생긴다.
작은 갱신의 역할
최근접 반올림에서는 작은 변화가 같은 표현값으로 계속 돌아가며 사라질 수 있다. 확률적 선택은 작은 변화가 가끔 이웃값으로 반영될 가능성을 준다. 그러나 이것만으로 최종 신경망의 손실이나 출력이 원래 고정밀 계산과 기댓값까지 같아지지는 않는다.
난수와 비용
추가 난수 생성과 확률 선택이 필요하고 실행 재현성도 난수 상태에 영향을 받는다. 불편성은 개별 반올림의 조건부 성질이며 비선형 계산 전체의 무오차 보장이 아니다. 정밀도와 표현 범위, 속도 및 실제 학습 품질을 함께 평가한다.