SCIEUR Damien

< Retour à ILB Patrimoine
Affiliations
  • 2017 - 2018
    Département d'Informatique de l'Ecole Normale Supérieure
  • 2017 - 2018
    Ecole normale supérieure Paris
  • 2017 - 2018
    Communauté d'universités et établissements Université de Recherche Paris Sciences et Lettres
  • 2017 - 2018
    Sciences mathematiques de paris centre
  • 2017 - 2018
    Apprentissage statistique et parcimonie
  • 2021
  • 2018
  • Super-accélération avec échelons cycliques.

    Baptiste GOUJAUD, Damien SCIEUR, Aymeric DIEULEVEUT, Adrien TAYLOR, Fabian PEDREGOSA
    2021
    Les pas cycliques sont de plus en plus populaires dans l'optimisation des problèmes d'apprentissage profond. Motivés par des observations récentes sur les écarts spectraux des Hessiens dans l'apprentissage automatique, nous montrons que ces pas cycliques offrent un moyen simple de les exploiter. Plus précisément, nous développons une analyse du taux de convergence pour les objectifs quadratiques qui fournit des paramètres optimaux et montre que les taux d'apprentissage cycliques peuvent améliorer les limites de complexité inférieures traditionnelles. Nous proposons en outre une approche systématique pour concevoir des méthodes optimales de premier ordre pour la minimisation quadratique avec une structure spectrale donnée. Enfin, nous fournissons une analyse du taux de convergence locale au-delà de la minimisation quadratique pour les méthodes proposées et illustrons nos résultats par des benchmarks sur des problèmes de moindres carrés et de régression logistique.
Les affiliations sont détectées à partir des signatures des publications identifiées dans scanR. Un auteur peut donc apparaître affilié à plusieurs structures ou tutelles en fonction de ces signatures. Les dates affichées correspondent seulement aux dates des publications retrouvées. Pour plus d’informations, voir https://scanr.enseignementsup-recherche.gouv.fr