위키득계정 ↗
기술

FedProx

FedProx기술
영문
FedProx
관련 방법
FedAvg
지역 목적
지역 손실과 근접 벌점
대상
이질적인 연합 학습 환경
FedProx는 참여자 간 데이터와 계산 환경의 차이를 고려하는 연합 최적화 방법이다. 지역 목적에 현재 공통 모형에서 멀어지는 변화를 억제하는 근접 항을 더한다.

참여자별 차이

참여자마다 자료의 분포와 양이 다르고 사용할 수 있는 계산 시간도 다를 수 있다. 같은 지역 학습 횟수를 요구하거나 지역 손실만 줄이면 공통 학습이 불안정해질 수 있다. FedProx는 지역 문제에 근접 제약을 넣고 서로 다른 작업량을 허용하는 틀을 제공한다.

근접 항의 독립 예제

지역 손실이 (w-6)²/2이고 공통 값이 2라고 하자. 근접 항 (w-2)²/2를 더하면 최소점은 w=4다. 지역 손실만의 최소점 6보다 공통 값에 가깝다. 실제 모형의 최적 계수를 정한 예가 아니라 근접 벌점의 역할을 보여 준다.

강도의 영향

근접 계수가 작으면 지역 목적이 더 강하게 작용하고 크면 공통 값에서 벗어나기 어려워질 수 있다. 계수를 크게 설정한다고 언제나 좋은 것은 아니다. 일반적인 0 기준 가중치 감쇠와 달리 각 라운드의 공통 모형을 기준으로 삼는다는 점도 중요하다.

보장의 조건

이질성을 고려하는 틀이 모든 비독립 분포나 임의의 장치 실패에서 자동 수렴한다는 뜻은 아니다. 이론은 목적 함수와 지역 풀이 오차 등의 조건을 둔다. 통신 라운드, 지역 계산량과 전체 및 참여자별 품질을 함께 비교한다.

관련 문서

FedAvg / 경사 하강법 / 모형 수프 / 언어 모형 / 트랜스포머 / 행렬