버린 값을 다음에 더하기
현재 갱신과 이전 잔차를 더한 값을 압축해 전송한다. 그 합과 실제 전송값의 차이를 새 잔차로 저장한다. 손실을 무시하고 매번 새 기울기만 압축하는 것과 달리 전달되지 않은 누적 정보를 다음 기회에 반영한다.
누적 잔차의 독립 예제
한 번에 들어오는 갱신이 0.4이고 압축기가 가까운 정수로 반올림한다고 하자. 처음에는 0을 보내고 잔차 0.4가 남는다. 다음 합은 0.8이어서 1을 보내고 잔차는 -0.2다. 두 입력의 합 0.8은 보낸 합 1과 남은 잔차 -0.2를 더한 값과 같다.
순간 오차와 전체 경로
잔차를 추적한다고 각 단계의 전송값이 원래 갱신과 같아지는 것은 아니다. 모형이 다른 경로를 지나면 다음 기울기도 달라질 수 있다. 누적 정보의 보정과 비압축 학습의 완전한 재현은 구분해야 한다.
조건과 비용
추가 잔차 배열의 메모리가 필요하고 압축기의 성질 및 학습 설정에 따라 수렴 분석이 달라진다. 정보가 전혀 전달되지 않는 임의의 압축기까지 무조건 고쳐 주는 장치는 아니다. 통신 절감과 최종 품질, 잔차 계산 및 저장 비용을 함께 비교한다.