크기를 버리는 표현
양의 기울기인지 음의 기울기인지에 따라 이동 방향을 정한다. 기울기의 절댓값 차이는 기본 부호 갱신에 직접 남지 않는다. 학습률과 모멘텀 사용 여부 등은 별도 설정이므로 모든 부호 기반 옵티마이저가 같은 알고리즘은 아니다.
다수결의 독립 예제
한 좌표에서 세 작업자의 기울기가 0.1, 0.2, -5라면 부호 다수결은 양수다. 그러나 기울기를 그대로 평균하면 약 -1.567로 음수다. 따라서 부호 다수결은 평균 기울기의 부호를 계산한 것과 일반적으로 다르다.
통신량의 범위
양과 음의 부호는 한 비트 표현이 가능하지만 전체 메시지에는 배열 형태나 프로토콜 등의 비용도 든다. 0의 처리 방식도 정해야 한다. 기울기를 한 비트로 보낸다고 모형 가중치와 학습 상태 전체를 한 비트로 저장하는 것은 아니다.
수렴과 품질
잡음과 기울기의 좌표별 기하가 결과에 영향을 준다. 다수결이 잘 작동하는 조건과 이론적 가정을 확인해야 한다. 압축률이 높다는 이유만으로 모든 문제에서 원래 SGD와 같은 경로나 품질을 보장하지는 않으며 실제 학습 시간을 함께 비교한다.