하나의 모형만 고집하지 않기
자료 분포가 다른 참여자들에게 하나의 공통 모형이 똑같이 잘 맞지 않을 수 있다. Ditto는 공통 학습을 유지하면서 지역 모형을 별도로 적응시킨다. 공통 갱신과 개인화 갱신은 관련되지만 같은 모형 상태를 갱신하는 절차는 아니다.
정규화의 독립 예제
공통 값이 0이고 지역 손실이 (v-8)²/2라고 하자. 근접 항 3v²/2를 더하면 최소점은 v=2다. 근접 항이 없을 때의 8과 공통 값 0 사이에서 균형을 잡는 예로, 실제 과제에 적합한 계수를 정해 주는 계산은 아니다.
FedProx와의 차이
공통 모형 근처에 머무르게 하는 항은 FedProx와 비슷해 보일 수 있다. 하지만 FedProx는 단일 공통 모형의 학습을 목표로 하고 Ditto는 참여자별 모형도 학습한다. 개인화 정규화가 0이면 지역 모형들은 각자의 손실만 최적화한다.
공정성과 강건성
여기서 참여자 간 공정성은 주로 성능 분포의 편차 같은 기준으로 평가한다. 모든 사회적 공정성 개념을 보장한다는 뜻은 아니다. 평균 정확도가 같아도 일부 참여자의 성능은 다를 수 있으므로 개별 분포와 공격 및 정상 조건의 결과를 나누어 확인한다.