이웃끼리 공동 학습하기
각 노드는 지역 계산을 수행하고 그래프에서 연결된 이웃과 정보를 교환한다. 여러 번의 교환을 통해 더 멀리 있는 노드의 정보도 반영될 수 있다. 한 번의 단계에서 모든 노드가 즉시 같은 모형을 갖는다는 뜻은 아니다.
통신 경로의 독립 예제
A-B-C로만 연결된 세 노드를 생각하자. A는 C에게 직접 메시지를 보낼 수 없고 B를 거치는 영향 전달이 필요하다. 모든 쌍이 연결된 그래프와 메시지 수 및 정보 확산 속도가 다르다. 이 그림은 실제 알고리즘의 수렴률을 계산한 예는 아니다.
압축의 역할
전송 정보를 양자화하거나 희소화하면 메시지를 줄일 수 있다. 다만 손실 있는 정보를 그대로 반복 교환하면 합의나 최적화에 문제가 생길 수 있어 압축에 맞춘 갱신 절차가 필요하다. 편향된 압축과 불편 압축을 다루는 조건도 확인해야 한다.
연결성과 보장
통신 그래프의 연결성이 약하거나 압축 품질이 낮으면 수렴의 부가 항이 커질 수 있다. 강볼록 목적에서의 분석을 모든 비볼록 신경망에 그대로 적용해서는 안 된다. 중앙 서버가 없다는 구조적 특성과 장애 내성, 정보 보호의 보장은 별도로 평가한다.