SAGA : Une méthode rapide de gradient incrémental avec support pour les objectifs composites non fortement convexes.

Résumé Dans ce travail, nous introduisons une nouvelle méthode d'optimisation appelée SAGA dans l'esprit de SAG, SDCA, MISO et SVRG, un ensemble d'algorithmes de gradient incrémental récemment proposés avec des taux de convergence linéaire rapides. SAGA améliore la théorie derrière SAG et SVRG, avec de meilleurs taux de convergence théoriques, et supporte les objectifs composites où un opérateur proximal est utilisé sur le régularisateur. Contrairement à SDCA, SAGA supporte directement les problèmes non fortement convexes, et s'adapte à toute convexité forte inhérente au problème. Nous donnons des résultats expérimentaux montrant l'efficacité de notre méthode.