Algorithmes stochastiques avec garanties de descente pour l'ICA.

Résumé L'analyse en composantes indépendantes (ACI) est une technique d'exploration des données très répandue, où les signaux observés sont modélisés comme des mélanges linéaires de composantes indépendantes. Du point de vue de l'apprentissage automatique, elle revient à un problème de factorisation de matrice avec un critère d'indépendance statistique. Infomax est l'un des algorithmes ICA les plus utilisés. Il est basé sur une fonction de perte qui est une log-vraisemblance non convexe. Nous développons un nouveau cadre de majorisation-minimisation adapté à cette fonction de perte. Nous dérivons un algorithme en ligne pour l'environnement de flux, et un algorithme incrémental pour l'environnement de somme finie, avec les avantages suivants. Premièrement, contrairement à la plupart des algorithmes trouvés dans la littérature, les méthodes proposées ne dépendent pas d'un hyperparamètre critique comme une taille de pas, et ne nécessitent pas de technique de recherche linéaire. Deuxièmement, l'algorithme pour le paramètre de la somme finie, bien que stochastique, garantit une diminution de la fonction de perte à chaque itération. Les expériences démontrent des progrès par rapport à l'état de l'art pour des ensembles de données à grande échelle, sans qu'il soit nécessaire de régler manuellement les paramètres.