Maximisation de l'espérance fédérée avec atténuation de l'hétérogénéité et réduction de la variance.

Résumé L'algorithme Expectation Maximization (EM) est l'algorithme par défaut pour l'inférence dans les modèles à variables latentes. Comme dans tout autre domaine de l'apprentissage automatique, les applications des modèles à variables latentes à de très grands ensembles de données rendent obligatoire l'utilisation d'architectures parallèles et distribuées avancées. Cet article présente FedEM, qui est la première extension de l'algorithme EM au contexte de l'apprentissage fédéré. FedEM est une nouvelle méthode efficace de communication, qui gère la participation partielle des dispositifs locaux et qui est robuste aux distributions hétérogènes des ensembles de données. Pour alléger le goulot d'étranglement de la communication, FedEM compresse les statistiques suffisantes des données complètes définies de manière appropriée. Nous développons et analysons également une extension de FedEM pour incorporer un schéma de réduction de la variance. Dans tous les cas, nous dérivons des limites de complexité en temps fini pour des problèmes lisses non convexes. Des résultats numériques sont présentés pour étayer nos conclusions théoriques, ainsi qu'une application à l'imputation fédérée des valeurs manquantes pour le suivi de la biodiversité.