SCIEUR Damien

Les pas cycliques sont de plus en plus populaires dans l'optimisation des problèmes d'apprentissage profond. Motivés par des observations récentes sur les écarts spectraux des Hessiens dans l'apprentissage automatique, nous montrons que ces pas cycliques offrent un moyen simple de les exploiter. Plus précisément, nous développons une analyse du taux de convergence pour les objectifs quadratiques qui fournit des paramètres optimaux et montre que les taux d'apprentissage cycliques peuvent améliorer les limites de complexité inférieures traditionnelles. Nous proposons en outre une approche systématique pour concevoir des méthodes optimales de premier ordre pour la minimisation quadratique avec une structure spectrale donnée. Enfin, nous fournissons une analyse du taux de convergence locale au-delà de la minimisation quadratique pour les méthodes proposées et illustrons nos résultats par des benchmarks sur des problèmes de moindres carrés et de régression logistique.

Dans de nombreux domaines, comme par exemple l’optimisation, la performance d’une méthode est souvent caractérisée par son taux de convergence. Cependant, accélérer un algorithme requiert une certaine connaissance de la structure du problème et de telles améliorations sont le fruit d’une étude au cas-par-cas. De nombreuses techniques d’accélération ont été développées ces dernières décennies et sont maintenant massivement utilisées. En dépit de leur simplicité, ces méthodes sont souvent basées sur des arguments purement algébriques et n’ont généralement pas d’explications intuitives. Récemment, de nombreux travaux ont été menés pour faire des liens entre les algorithmes accélérés et d’autres domaines scientifiques, comme par exemple avec la théorie du contrôle ou des équations différentielles. Cependant, ces explications reposent souvent sur des arguments complexes et la plupart utilisent des outils non-conventionnels dans leur analyse. Une des contributions de cette thèse est une tentative d’explication des algorithmes accélérés en utilisant la théorie des méthodes d’intégration, qui a été très étudiée et jouit d’une analyse théorique solide. En particulier, nous montrons que les méthodes d’optimisation sont en réalité des instances de méthode d’intégration, lorsqu’on intègre l’équation du flot de gradient. Avec des arguments standards, nous expliquons intuitivement l’origine de l’accélération. De l’autre côté, les méthodes accélérées ont besoin de paramètres supplémentaires, en comparaison d’autres méthodes plus lentes, qui sont généralement difficiles à estimer. De plus, ces schémas sont construits pour une configuration particulière et ne peuvent pas être utilisés autre part. Ici, nous explorons une autre approche pour accélérer les algorithmes d’optimisation, qui utilise des arguments d’accélération générique. En analyse numérique, ces outils ont été développés pour accélérer des séquences de scalaires ou de vecteurs, en construisant parallèlement une autre séquence avec un meilleur taux de convergence. Ces méthodes peuvent être combinées avec un algorithme itératif, l’accélérant dans la plupart des cas. En pratique, ces méthodes d’extrapolation ne sont pas tellement utilisées, notamment dû à leur manque de garanties de convergence et leur instabilité. Nous étendons ces méthodes en les régularisant, ce qui permettra une analyse théorique plus profonde et des résultats de convergence plus fort, en particulier lorsqu’elles sont appliquées à des méthodes d’optimisation.

Dans de nombreux domaines comme l'optimisation, la performance d'une méthode est souvent caractérisée par son taux de convergence. Cependant, l'accélération d'un algorithme nécessite beaucoup de connaissances sur la structure du problème, et une telle amélioration se fait au cas par cas. De nombreux schémas accélérés ont été développés au cours des dernières décennies et sont massivement utilisés dans la pratique. Malgré leur simplicité, ces méthodes sont généralement basées sur des arguments purement algébriques et n'ont souvent pas d'explication intuitive. Récemment, un travail important a été réalisé pour relier les algorithmes accélérés à d'autres domaines scientifiques, tels que la théorie du contrôle ou les équations différentielles. Cependant, ces explications reposent souvent sur des arguments complexes, utilisant généralement des outils non conventionnels dans leur analyse. L'une des contributions de cette thèse est une tentative d'explication des algorithmes d'optimisation à l'aide de la théorie des méthodes d'intégration, qui a été bien étudiée et bénéficie d'une analyse théorique solide. En particulier, nous montrerons que les schémas d'optimisation sont des instances spéciales des méthodes d'intégration lorsqu'on intègre le flux de gradient classique. Avec des arguments standards, nous expliquons intuitivement l'origine de l'accélération. D'autre part, les méthodes accélérées nécessitent généralement des paramètres supplémentaires par rapport aux méthodes plus lentes, qui sont dans la plupart des cas difficiles à estimer. De plus, ces schémas sont conçus pour un contexte particulier et ne peuvent être utilisés ailleurs. Dans cette thèse, nous explorons une nouvelle approche pour accélérer les algorithmes d'optimisation, qui utilise des arguments d'accélération génériques. En analyse numérique, ces outils ont été développés pour accélérer des séquences de scalaires ou de vecteurs, en construisant à côté une autre séquence avec un meilleur taux de convergence. Ces méthodes peuvent être combinées avec un algorithme itératif, l'accélérant dans la plupart des cas. En pratique, les schémas d'extrapolation ne sont pas très utilisés en raison de leur manque de garanties théoriques et de leur instabilité. Nous étendrons ces méthodes en les régularisant, ce qui permettra une analyse théorique plus approfondie et des résultats de convergence plus forts, en particulier lorsqu'elles sont appliquées à des méthodes d'optimisation.