Accélération de l'optimisation.

Résumé Dans de nombreux domaines comme l'optimisation, la performance d'une méthode est souvent caractérisée par son taux de convergence. Cependant, l'accélération d'un algorithme nécessite beaucoup de connaissances sur la structure du problème, et une telle amélioration se fait au cas par cas. De nombreux schémas accélérés ont été développés au cours des dernières décennies et sont massivement utilisés dans la pratique. Malgré leur simplicité, ces méthodes sont généralement basées sur des arguments purement algébriques et n'ont souvent pas d'explication intuitive. Récemment, un travail important a été réalisé pour relier les algorithmes accélérés à d'autres domaines scientifiques, tels que la théorie du contrôle ou les équations différentielles. Cependant, ces explications reposent souvent sur des arguments complexes, utilisant généralement des outils non conventionnels dans leur analyse. L'une des contributions de cette thèse est une tentative d'explication des algorithmes d'optimisation à l'aide de la théorie des méthodes d'intégration, qui a été bien étudiée et bénéficie d'une analyse théorique solide. En particulier, nous montrerons que les schémas d'optimisation sont des instances spéciales des méthodes d'intégration lorsqu'on intègre le flux de gradient classique. Avec des arguments standards, nous expliquons intuitivement l'origine de l'accélération. D'autre part, les méthodes accélérées nécessitent généralement des paramètres supplémentaires par rapport aux méthodes plus lentes, qui sont dans la plupart des cas difficiles à estimer. De plus, ces schémas sont conçus pour un contexte particulier et ne peuvent être utilisés ailleurs. Dans cette thèse, nous explorons une nouvelle approche pour accélérer les algorithmes d'optimisation, qui utilise des arguments d'accélération génériques. En analyse numérique, ces outils ont été développés pour accélérer des séquences de scalaires ou de vecteurs, en construisant à côté une autre séquence avec un meilleur taux de convergence. Ces méthodes peuvent être combinées avec un algorithme itératif, l'accélérant dans la plupart des cas. En pratique, les schémas d'extrapolation ne sont pas très utilisés en raison de leur manque de garanties théoriques et de leur instabilité. Nous étendrons ces méthodes en les régularisant, ce qui permettra une analyse théorique plus approfondie et des résultats de convergence plus forts, en particulier lorsqu'elles sont appliquées à des méthodes d'optimisation.