표현과 결정의 분리
여러 참여자가 비슷한 특징을 활용해도 그 특징으로 내릴 판단은 다를 수 있다. FedRep은 공통 표현을 함께 학습하고 각 참여자의 헤드는 지역에 둔다. 지역 표현을 따로 두고 하나의 출력 헤드만 공유하는 구조와는 방향이 다르다.
공유 특징의 독립 예제
공통 표현이 두 특징 (2, 3)을 내놓았다고 하자. 헤드 A의 계수가 (1, 0)이면 점수는 2, 헤드 B의 계수가 (0, 1)이면 3이다. 같은 특징을 다른 기준으로 사용하는 예이며 실제 분류기의 확률이나 성능을 나타낸 것은 아니다.
지역 학습의 순서
현재 공통 표현을 고정한 채 지역 헤드를 충분히 학습한 다음 그 헤드를 사용해 표현을 갱신한다. 서버는 참여자들의 표현 갱신을 결합한다. 헤드와 표현을 매번 똑같은 횟수로 동시에 갱신하는 절차와 구분된다.
가정과 확장
공유할 만한 표현이 있다는 가정이 잘 맞지 않으면 이점이 작아질 수 있다. 새로운 참여자는 지역 헤드를 마련할 자료와 학습이 필요하다. 선형 설정의 수렴 분석을 임의의 비선형 모형에 대한 무조건적인 보장으로 확대하지 않는다.
관련 문서
FedBN / FedAvg / Ditto 개인화 학습 / FedProx / 언어 모형 / 트랜스포머