계산값과 전송값
각 노드는 자신의 기울기를 구한 뒤 작은 표현으로 바꾸어 보낸다. 수신 측은 이를 복원해 갱신에 사용한다. 추론 모형의 저장 가중치를 저비트로 바꾸는 것과 달리 학습 중 통신하는 정보의 표현을 다룬다.
확률 반올림의 독립 예제
정규화된 값 0.3을 0과 0.5로 표현한다면 확률 0.6으로 0.5, 확률 0.4로 0을 고를 수 있다. 기댓값은 0.3이지만 한 번의 결과는 달라진다. 확률적 표현의 원리를 설명한 예이며 전체 벡터의 스케일과 부호화 비용은 생략했다.
불편성과 분산
적절히 설계한 확률 양자화는 원래 기울기를 기댓값으로 유지하면서도 분산을 추가한다. 이때 낮은 전송량만 보면 학습의 총비용을 놓칠 수 있다. 더 거친 표현으로 필요한 반복 횟수가 늘면 통신 절약의 일부를 상쇄할 수 있다.
실제 비용
양자화 단계의 계산, 노름이나 스케일 전송과 부호화 비용도 필요하다. 작은 배열에서는 압축 작업이 절약한 통신 시간보다 비쌀 수 있다. 동일한 품질에 도달하는 전체 시간과 바이트 수를 함께 보고 수렴 보장의 가정도 확인한다.