서버도 상태를 유지하기
서버가 반환 가중치를 단순 평균하는 대신 지역 변화량을 이용해 별도의 갱신을 수행할 수 있다. 이때 서버의 모멘텀과 이차 통계 등은 참여자의 지역 상태와 구분된다. 참여자와 서버가 반드시 같은 옵티마이저를 써야 하는 것은 아니다.
집계 변화량의 독립 예제
공통 값이 10이고 같은 비중의 두 참여자가 9와 7을 반환하면 평균 변화량은 -2다. 서버에서 직접 반영하면 8이 되지만 적응적 처리는 과거 상태에 따라 다른 이동을 만들 수 있다. 이 예는 특정 FedAdam 갱신 전체를 계산한 것은 아니다.
학습률의 두 역할
지역 학습률은 각 참여자가 자신의 자료에서 얼마나 이동하는지 정한다. 서버 학습률은 집계한 정보를 공통 모형에 얼마나 반영하는지 정한다. 둘의 조합에 따라 동작이 달라지므로 한쪽 값만 바꾸어 모든 영향을 설명하기 어렵다.
성능과 비용
적응적 서버는 추가 상태 저장과 계산을 사용한다. 지역 데이터의 이질성, 참여 비율과 통신 간격도 결과에 영향을 준다. 특정 적응 방법이 모든 환경에서 단순 평균보다 우수하다고 일반화하지 말고 같은 자원 및 품질 기준에서 비교한다.