SERVERS, METHODS AND SYSTEMS FOR SECOND ORDER FEDERATED LEARNING

Servers, methods and systems for second order federated learning (FL) are described. Client nodes send local curvature information to the server along with local learned parameter information. The local curvature information enables the server to approximate or estimate the curvature, i.e. a second-order derivative, of an objective function of each respective local model. Instead of averaging the local learned parameter information obtained from the client nodes, the server uses the local curvature information to aggregate the local learned parameter information obtained from each client node to correct for the bias that would ordinarily result from a straightforward averaging of the learned values of the local learnable parameters. The described examples may provide reduced bias and/or reduced communication costs, relative to existing FL approaches such as federated averaging. The described examples may provide greater accuracy in model performance and/or faster convergence in FL. L'invention concerne des serveurs, des procédés et des systèmes d'apprentissage fédéré (FL) de second ordre. Des nœuds clients envoient des informations de courbure locale au serveur conjointement avec des informations de paramètres appris localement. Les informations de courbure locale permettent au serveur de donner une approximation ou une estimation de la courbure, c'est-à-dire une dérivée de second ordre, d'une fonction objective de chaque modèle local respectif. Au lieu de calculer la moyenne des informations de paramètres appris localement obtenues à partir des nœuds clients, le serveur utilise les informations de courbure locale pour agréger les informations de paramètres appris localement obtenues à partir de chaque nœud client pour corriger la polarisation qui résulterait ordinairement d'une moyenne simple des valeurs apprises des paramètres pouvant être appris localement. Les exemples décrits peuvent fournir une polarisation réduite et/ou des coûts de communication réduits, par rapport à des approches FL existantes telles qu'une moyenne fédérée. Les exemples décrits peuvent fournir une plus grande précision dans les performances du modèle et/ou une convergence plus rapide en FL.