Méthode de Newton pour les problèmes de contrôle stochastique.

Résumé Nous développons une nouvelle méthode itérative basée sur le principe de Pontryagin pour résoudre les problèmes de contrôle stochastique. Cette méthode n'est rien d'autre que la méthode de Newton étendue au cadre des commandes stochastiques, où la dynamique de l'état est donnée par une ODE à coefficients stochastiques. Chaque itération de la méthode est composée de deux ingrédients : le calcul de la direction de Newton, et la recherche d'une longueur de pas adaptée. La direction de Newton est obtenue en résolvant une équation différentielle stochastique affine-linéaire avant-arrière (FBSDE) avec des coefficients aléatoires. Ceci est fait dans le cadre d'une filtration générale. Nous prouvons que la résolution d'une telle FBSDE se réduit à la résolution d'une équation différentielle stochastique inverse (BSDE) de Riccati et d'une BSDE affine-linéaire, comme prévu dans le cadre des FBSDE linéaires ou des problèmes de contrôle stochastique linéaire-quadratique. Nous établissons ensuite des résultats de convergence pour cette méthode de Newton. En particulier, une régularité suffisante de la dérivée de second ordre de la fonction de coût est requise pour obtenir une convergence quadratique (locale). Une restriction à l'espace des processus stochastiques essentiellement bornés est nécessaire pour obtenir une telle régularité. Pour choisir une longueur de pas appropriée tout en s'adaptant à notre choix d'espace de processus, nous développons une méthode adaptée de recherche linéaire par backtracking. Nous prouvons ensuite la convergence globale de la méthode de Newton avec la procédure de recherche linéaire proposée, qui se produit à un taux quadratique après un nombre fini d'itérations. Une implémentation avec des techniques de régression pour résoudre les BSDEs survenant dans le calcul de l'étape de Newton est développée. Nous l'appliquons au problème de contrôle d'un grand nombre de batteries fournissant des services auxiliaires à un réseau électrique.