Super-accélération avec échelons cycliques.

Résumé Les pas cycliques sont de plus en plus populaires dans l'optimisation des problèmes d'apprentissage profond. Motivés par des observations récentes sur les écarts spectraux des Hessiens dans l'apprentissage automatique, nous montrons que ces pas cycliques offrent un moyen simple de les exploiter. Plus précisément, nous développons une analyse du taux de convergence pour les objectifs quadratiques qui fournit des paramètres optimaux et montre que les taux d'apprentissage cycliques peuvent améliorer les limites de complexité inférieures traditionnelles. Nous proposons en outre une approche systématique pour concevoir des méthodes optimales de premier ordre pour la minimisation quadratique avec une structure spectrale donnée. Enfin, nous fournissons une analyse du taux de convergence locale au-delà de la minimisation quadratique pour les méthodes proposées et illustrons nos résultats par des benchmarks sur des problèmes de moindres carrés et de régression logistique.