많이 계산한 참여자의 영향
데이터 비중이 같아도 한 참여자가 더 많은 지역 단계를 수행하면 반환 변화량이 커질 수 있다. 이를 그대로 평균하면 계산량 차이가 공통 목표의 가중치처럼 작용할 수 있다. FedNova는 정규화된 갱신과 적절한 공통 스케일을 이용해 이 영향을 다룬다.
단계 수의 독립 예제
같은 기울기 1과 학습률 0.1을 유지한다고 가정하자. 지역 두 단계의 변화는 -0.2, 여덟 단계는 -0.8이다. 단계 수로 나눈 변화는 둘 다 -0.1이다. 지역 경로의 기울기가 변하지 않는 단순 예이며 실제 FedNova 전체 집계 공식을 대신하지는 않는다.
정규화 계수의 의미
일반적인 지역 SGD에서는 단계 수가 핵심이지만 모멘텀이나 다른 풀이에서는 유효 갱신 계수가 달라질 수 있다. 모든 지역 옵티마이저의 결과를 무조건 실행 횟수 하나로 나누면 된다고 볼 수는 없다. 자료 비중과 계산량 보정의 역할을 구분한다.
평가와 한계
목적 불일치를 다루는 것이 데이터 분포 차이나 지역 편향의 모든 문제를 없애는 것은 아니다. 참여자 선택, 지역 학습률과 통신 조건도 영향을 준다. 원하는 공통 목적에 대한 품질과 참여자별 결과, 통신량 및 실제 시간을 함께 확인한다.