Principe de programmation dynamique aléatoire et représentation de Feynman-Kac pour le contrôle optimal de la dynamique de McKean-Vlasov.

Résumé Nous analysons un problème de contrôle optimal stochastique, où le processus d'état suit une dynamique de McKean-Vlasov et où le coefficient de diffusion peut être dégénéré. Nous prouvons que sa fonction de valeur V admet une représentation non linéaire de Feynman-Kac en termes d'une classe d'équations différentielles stochastiques avant-arrière, avec un processus avant autonome. Nous exploitons cette représentation probabiliste pour prouver rigoureusement le principe de programmation dynamique (DPP) pour V. La représentation de Feynman-Kac que nous obtenons a un rôle important au-delà de son rôle intermédiaire dans l'obtention de notre résultat principal : en fait, elle serait utile pour développer des schémas numériques probabilistes pour V. Le DPP est important pour obtenir une caractérisation de la fonction de valeur comme solution d'une équation différentielle partielle non linéaire (l'équation dite de Hamilton-Jacobi-Belman), dans ce cas sur l'espace de Wasserstein des mesures. Il convient de noter que la manière habituelle de résoudre ces équations est le principe du maximum de Pontryagin, qui nécessite certaines hypothèses de convexité. Il y a eu des tentatives d'utilisation de l'approche de programmation dynamique auparavant, mais ces travaux supposaient a priori que les contrôles étaient de type rétroaction markovienne, ce qui permet d'écrire le problème uniquement en termes de distribution du processus d'état (et le problème de contrôle devient un problème déterministe). Dans cet article, nous considérons des commandes en boucle ouverte et nous dérivons le principe de programmation dynamique dans ce cas le plus général. Afin d'obtenir la représentation de Feynman-Kac et le principe de programmation dynamique randomisé, nous mettons en œuvre la méthode dite de randomisation, qui consiste à formuler un nouveau problème de contrôle de McKean-Vlasov, exprimé sous forme faible en prenant le supremum sur une famille de mesures de probabilité équivalentes. L'un des principaux résultats de l'article est la preuve que ce dernier problème de contrôle a la même fonction de valeur V que le problème de contrôle original.