Un point de vue continu sur l'accélération de Nesterov.

Auteurs
Date de publication
2021
Type de publication
Autre
Résumé Nous introduisons l'accélération de Nesterov "continuée", une variante proche de l'accélération de Nesterov dont les variables sont indexées par un paramètre de temps continu. Les deux variables se mélangent continuellement suivant une équation différentielle ordinaire linéaire et prennent des pas de gradient à des moments aléatoires. Cette variante continuée bénéficie du meilleur des cadres continu et discret : en tant que processus continu, on peut utiliser le calcul différentiel pour analyser la convergence et obtenir des expressions analytiques pour les paramètres. Mais une discrétisation du processus continu peut être calculée exactement avec des taux de convergence similaires à ceux de l'accélération originale de Nesterov. Nous montrons que la discrétisation a la même structure que l'accélération de Nesterov, mais avec des paramètres aléatoires.
Thématiques de la publication
  • ...
  • Pas de thématiques identifiées
Thématiques détectées par scanR à partir des publications retrouvées. Pour plus d’informations, voir https://scanr.enseignementsup-recherche.gouv.fr