큰 행렬 대신 작은 인자
기울기 행렬의 주요 방향을 낮은 랭크로 표현하면 전송할 값의 수를 줄일 수 있다. 전체 가중치 자체를 저랭크 모형으로 바꾸는 것이 아니라 학습 중 기울기 통신을 압축한다. 랭크가 작을수록 빠진 방향의 영향도 확인해야 한다.
전송 원소의 독립 예제
100×80 행렬은 8,000개 원소를 가진다. 랭크 4의 인자를 100×4와 80×4로 표현하면 원소 수는 720개다. 값의 개수만 비교한 것으로 반복 연산, 동기화와 메시지 부가 비용을 포함한 실제 전송 시간의 비율은 아니다.
집계 방식의 중요성
각 작업자가 임의로 분해한 인자를 따로 평균한다고 원래 기울기 평균의 저랭크 근사가 자동으로 얻어지지는 않는다. PowerSGD는 집계에 맞는 절차로 인자를 계산한다. 저랭크 압축과 함께 이전 오차를 되먹이는 구성도 활용한다.
속도와 품질
기울기에 저랭크 구조가 약하면 작은 랭크의 근사 오차가 커질 수 있다. 통신이 이미 빠른 환경에서는 압축 계산의 비용이 이득을 줄일 수 있다. 랭크와 장치 수, 네트워크 조건을 맞춰 같은 목표 품질에 도달하는 실제 학습 시간을 비교한다.