WARIN Xavier

Cet article présente des techniques d'apprentissage automatique et des algorithmes profonds basés sur l'apprentissage par renforcement pour la résolution efficace d'équations différentielles partielles non linéaires et de problèmes d'optimisation dynamique liés aux décisions d'investissement et à l'évaluation des produits dérivés en ingénierie financière. Nous passons en revue les résultats récents de la littérature, nous présentons les nouveaux développements, notamment dans le cas entièrement non linéaire, et nous comparons les différents schémas illustrés par des tests numériques sur diverses applications financières. Nous concluons en soulignant certaines directions de recherche futures.

Nous étudions l'approximation des équations différentielles stochastiques rétroactives (BSDE en abrégé) avec une contrainte sur le processus de gains. Nous discrétisons d'abord la contrainte en appliquant un opérateur dit de lifting aux temps d'une grille. Nous montrons que cette BSDE à contrainte discrète converge vers la BSDE à contrainte continue lorsque la grille de maillage converge vers zéro. Nous nous concentrons ensuite sur l'approximation de la BSDE à contraintes discrètes. Pour cela, nous adoptons une approche d'apprentissage automatique. Nous montrons que le lifting peut être approximé par un problème d'optimisation sur une classe de réseaux neuronaux sous contraintes sur le réseau neuronal et sa dérivée. Nous dérivons ensuite un algorithme convergeant vers le BSDE sous contraintes discrètes lorsque le nombre de neurones va vers l'infini. Nous terminons par des expériences numériques. Classification des sujets en mathématiques (2010) : 65C30, 65M75, 60H35, 93E20, 49L25.

Les méthodes d'apprentissage automatique pour la résolution d'équations différentielles partielles (EDP) non linéaires sont des sujets d'actualité brûlants, et différents algorithmes proposés dans la littérature montrent une approximation numérique efficace en haute dimension. Dans cet article, nous introduisons une classe d'EDP invariantes aux permutations, appelées EDP symétriques. De tels problèmes sont très répandus, allant de la cosmologie à la mécanique quantique, en passant par l'évaluation et la couverture des options sur un marché multi-actifs avec des gains échangeables. Notre principale application provient en fait de l'approximation par les particules des problèmes de contrôle du champ moyen. Nous concevons des algorithmes d'apprentissage profond basés sur certains types de réseaux neuronaux, nommés PointNet et DeepSet (et leurs réseaux dérivés associés), pour calculer simultanément une approximation de la solution et son gradient aux EDP symétriques. Nous illustrons la performance et la précision des réseaux PointNet/DeepSet par rapport aux réseaux feedforward classiques, et fournissons plusieurs résultats numériques de notre algorithme pour les exemples d'un risque systémique à champ moyen, d'un problème de variance moyenne et d'un problème de contrôle McKean-Vlasov linéaire quadratique min/max.

Nous prouvons un taux de convergence d'ordre 1/N pour l'approximation à N particules d'une équation différentielle partielle du second ordre dans l'espace des mesures de probabilité, comme l'équation de Master ou l'équation de Bellman du problème de contrôle du champ moyen sous bruit commun. La preuve repose sur des techniques d'équations différentielles stochastiques à rebours.

Cet article revisite le problème du calcul efficace des fonctions de distribution cumulative empirique (ECDF) sur de grands ensembles de données multivariées. Le calcul d'une ECDF à un point d'évaluation nécessite O(N) opérations sur un ensemble de données composé de N points de données. Par conséquent, une évaluation directe des ECDF à N points d'évaluation nécessite une opération quadratique O(N^2), ce qui est prohibitif pour les problèmes à grande échelle. Deux méthodes rapides et exactes sont proposées et comparées. La première est basée sur une sommation rapide dans l'ordre lexicographique, avec une complexité O(N logN) et nécessite que les points d'évaluation soient situés sur une grille régulière. La seconde est basée sur le principe de division et de conquête, avec une complexité de O(N log(N)^max(d-1,1)) et exige que les points d'évaluation coïncident avec les points d'entrée. Les deux algorithmes rapides sont décrits et détaillés dans le cas général à d dimensions, et des expériences numériques valident leur vitesse et leur précision. Deuxièmement, l'article établit une connexion directe entre les fonctions de distribution cumulative et l'estimation de la densité du noyau (KDE) pour une grande classe de noyaux. Cette connexion ouvre la voie à des algorithmes exacts rapides pour l'estimation de la densité du noyau multivarié et la régression du noyau. Des tests numériques avec le noyau Laplacien valident la vitesse et la précision des algorithmes proposés. Un large éventail de problèmes d'estimation de densité multivariée à grande échelle, d'estimation de distribution cumulative, d'estimation de fonction de survie et de régression peut bénéficier des méthodes numériques proposées.

Nous étudions l'approximation d'équations différentielles stochastiques rétroactives (BSDE en abrégé) avec une contrainte sur le processus de gains. Nous discrétisons d'abord la contrainte en appliquant un opérateur dit de lifting aux temps d'une grille. Nous montrons que cette BSDE à contrainte discrète converge vers la BSDE à contrainte continue lorsque la grille de maillage converge vers zéro. Nous nous concentrons ensuite sur l'approximation de la BSDE à contraintes discrètes. Pour cela, nous adoptons une approche d'apprentissage automatique. Nous montrons que le lifting peut être approximé par un problème d'optimisation sur une classe de réseaux neuronaux sous contraintes sur le réseau neuronal et sa dérivée. Nous dérivons ensuite un algorithme convergeant vers le BSDE sous contraintes discrètes lorsque le nombre de neurones va vers l'infini. Nous terminons par des expériences numériques. Classification des sujets en mathématiques (2010) : 65C30, 65M75, 60H35, 93E20, 49L25.

Nous proposons de nouveaux schémas d'apprentissage automatique pour résoudre des équations différentielles partielles (EDP) non linéaires de haute dimension. S'appuyant sur la représentation classique d'équations différentielles stochastiques à rebours (BSDE) des EDP, nos algorithmes estiment simultanément la solution et son gradient par des réseaux neuronaux profonds. Ces approximations sont réalisées à chaque pas de temps à partir de la minimisation de fonctions de perte définies récursivement par rétro-induction. La méthodologie est étendue aux inégalités variationnelles qui apparaissent dans les problèmes d'arrêt optimal. Nous analysons la convergence des schémas d'apprentissage profond et fournissons des estimations d'erreur en termes d'approximation universelle des réseaux neuronaux. Les résultats numériques montrent que nos algorithmes donnent de très bons résultats jusqu'à la dimension 50 (et certainement au-delà), à la fois pour les problèmes d'EDP et d'inégalités variationnelles. Pour la résolution des EDP, nos résultats sont très similaires à ceux obtenus par la méthode récente de \cite{weinan2017deep} lorsque cette dernière converge vers la bonne solution ou ne diverge pas. Les tests numériques indiquent que les méthodes proposées ne sont pas bloquées dans des minima locaux pauvres comme cela peut être le cas avec l'algorithme conçu dans \cite{weinan2017deep}, et aucune divergence n'est expérimentée. La seule limite semble être due à l'incapacité des réseaux neuronaux profonds considérés à représenter une solution avec une structure trop complexe en haute dimension.

Nous développons des schémas d'apprentissage automatique à plusieurs étapes pour résoudre des équations différentielles partielles (EDP) non linéaires en haute dimension. La méthode est basée sur la représentation probabiliste des EDP par des équations différentielles stochastiques à rebours (BSDE) et leur discrétisation temporelle itérée. Dans le cas d'EDP semi-linéaires, notre algorithme estime simultanément par rétro-induction la solution et son gradient par des réseaux neuronaux à travers des minimisations séquentielles de fonctions de perte quadratiques appropriées qui sont effectuées par descente de gradient stochastique. L'approche est étendue au cas plus difficile des EDP entièrement non linéaires, et nous proposons différentes approximations du Hessien de la solution de l'EDP, c'est-à-dire la composante $\Gamma$ de l'EDPS, en combinant des poids de Malliavin et des réseaux neuronaux. Des tests numériques approfondis sont effectués avec divers exemples d'EDP semi-linéaires, y compris l'équation de Burgers visqueuse, et des exemples d'EDP entièrement non linéaires comme les équations de Hamilton-Jacobi-Bellman qui se posent dans les problèmes de sélection de portefeuille avec des volatilités stochastiques, ou les équations de Monge-Ampère en dimension jusqu'à 15. La performance et la précision de nos résultats numériques sont comparées à d'autres algorithmes d'apprentissage automatique récents dans la littérature, voir \cite{HJE17}, \cite{HPW19}, \cite{BEJ19}, \cite{BBCJN19} et \cite{phawar19}. En outre, nous fournissons une analyse rigoureuse de l'erreur d'approximation du schéma arrière profond à plusieurs étapes ainsi que de la méthode de fractionnement profonde pour les EDP semi-linéaires, qui donne un taux de convergence en termes de nombre de neurones pour les réseaux neuronaux peu profonds.

La couverture en temps discret produit un risque résiduel, à savoir la tracking error. Le problème majeur est d'obtenir des politiques de valorisation/couverture minimisant cette erreur. Nous évaluons le risque entre les dates de négociation au moyen d'une fonction pénalisant de manière asymétrique les profits et les pertes. Après avoir dérivé l'asymptotique dans le cadre d'une mesure du risque en temps discret pour un grand nombre de dates de négociation, nous dérivons les stratégies optimales minimisant le risque asymptotique dans le cadre du temps continu. Nous caractérisons l'optimalité par une classe d'équations différentielles partielles (EDP) entièrement non linéaires. Des expériences numériques montrent que les stratégies optimales associées à l'approche discrète et asymptotique coïncident asymptotiquement.

Les producteurs d'électricité sont intéressés par la valorisation de la production de leur centrale. En négociant des contrats à terme, nous proposons de réduire la contingence du revenu associé en considérant les coûts fixes et en utilisant un critère de risque asymétrique. Dans un cadre asymptotique, nous fournissons une stratégie de couverture optimale à travers la solution d'une équation différentielle partielle non linéaire. Comme expérience numérique, nous analysons l'impact de la structure des coûts fixes sur la politique de couverture et la valeur des actifs.

Pas de résumé disponible.

Nous proposons plusieurs algorithmes pour résoudre les équations différentielles stochastiques avant-arrière (FBSDE) de McKean-Vlasov. Nos schémas s'appuient sur le pouvoir d'approximation des réseaux neuronaux pour estimer la solution ou son gradient à travers des problèmes de minimisation. En conséquence, nous obtenons des méthodes capables de traiter à la fois les jeux à champ moyen et les problèmes de contrôle à champ moyen en dimension modérée. Nous analysons le comportement numérique de nos algorithmes sur plusieurs exemples dont des modèles quadratiques non linéaires.

Nous étendons l'algorithme numérique basé sur le processus de branchement de Bouchard et al. [3], qui est dédié aux EDP semi-linéaires (ou BSDE) avec une non-linéarité de Lipschitz, au cas où la non-linéarité implique le gradient de la solution. Comme dans [3], ceci requiert une procédure de localisation qui utilise des estimations a priori sur la solution réelle, de façon à assurer la bonne pose du schéma d'itération de Picard impliqué, et la convergence globale de l'algorithme. Lorsque la non-linéarité dépend du gradient, ce dernier doit également être contrôlé. Ceci est fait en utilisant une procédure de lifting. La convergence de notre algorithme est prouvée sans aucune limitation de l'horizon temporel. Nous fournissons également des simulations numériques pour illustrer les performances de l'algorithme.

Nous proposons une méthode numérique pour résoudre des équations différentielles partielles (EDP) entièrement non linéaires de haute dimension. Notre algorithme estime simultanément par induction temporelle arrière la solution et son gradient par des réseaux de neurones multicouches, à travers une séquence de problèmes d'apprentissage obtenus à partir de la minimisation de fonctions de perte quadratiques appropriées et de simulations d'entraînement. Cette méthodologie étend au cas totalement non-linéaire l'approche récemment proposée dans [HPW19] pour les EDP semi-linéaires. Des tests numériques illustrent la performance et la précision de notre méthode sur plusieurs exemples en haute dimension avec non-linéarité sur le terme hessien incluant un problème de contrôle quadratique linéaire avec contrôle sur le coefficient de diffusion.

L'estimation de la densité du noyau et la régression du noyau sont des techniques puissantes mais coûteuses en calcul : une évaluation directe des estimations de la densité du noyau à M points d'évaluation pour N points d'échantillon d'entrée nécessite une opération quadratique O(M N), ce qui est prohibitif pour les problèmes à grande échelle. Pour cette raison, des méthodes approximatives telles que le binning avec la transformée de Fourier rapide ou la transformée de Gauss rapide ont été proposées pour accélérer l'estimation de la densité du noyau. Parmi ces méthodes rapides, l'approche Fast Sum Updating est une alternative intéressante, car il s'agit d'une méthode exacte et sa vitesse est indépendante de l'échantillon d'entrée et de la bande passante. Malheureusement, cette méthode, basée sur le tri des données, a été pour la plupart limitée au cas univarié. Dans cet article, nous revisitons l'approche de mise à jour rapide de la somme et l'étendons de plusieurs façons. Notre principale contribution est de l'étendre au cas général multivarié pour des données d'entrée générales et une grille d'évaluation rectiligne. D'autres contributions comprennent son extension à une classe plus large de noyaux, y compris les noyaux triangulaires, cosinus et Silverman, sa combinaison avec des noyaux additifs multivariés parcimonieux, et sa combinaison avec une largeur de bande approximative rapide des k-plus-voisins pour les ensembles de données multivariées. Nos tests numériques de régression multivariée et d'estimation de densité confirment la rapidité, la précision et la stabilité de la méthode. Nous espérons que cet article renouvellera l'intérêt pour l'approche de mise à jour rapide de la somme et aidera à résoudre les problèmes pratiques d'estimation de densité et de régression à grande échelle.

Nous proposons de nouveaux schémas d'apprentissage automatique pour résoudre des équations différentielles partielles (EDP) non linéaires de haute dimension. S'appuyant sur la représentation classique d'équations différentielles stochastiques à rebours (BSDE) des EDP, nos algorithmes estiment simultanément la solution et son gradient par des réseaux neuronaux profonds. Ces approximations sont réalisées à chaque pas de temps à partir de la minimisation de fonctions de perte définies récursivement par rétro-induction. La méthodologie est étendue aux inégalités variationnelles qui apparaissent dans les problèmes d'arrêt optimal. Nous analysons la convergence des schémas d'apprentissage profond et fournissons des estimations d'erreur en termes d'approximation universelle des réseaux neuronaux. Les résultats numériques montrent que nos algorithmes donnent de très bons résultats jusqu'à la dimension 50 (et certainement au-delà), à la fois pour les problèmes d'EDP et d'inégalités variationnelles. Pour la résolution des EDP, nos résultats sont très similaires à ceux obtenus par la méthode récente de \cite{weinan2017deep} lorsque cette dernière converge vers la bonne solution ou ne diverge pas. Les tests numériques indiquent que les méthodes proposées ne sont pas bloquées dans des minima locaux pauvres comme cela peut être le cas avec l'algorithme conçu dans \cite{weinan2017deep}, et aucune divergence n'est expérimentée. La seule limite semble être due à l'incapacité des réseaux neuronaux profonds considérés à représenter une solution avec une structure trop complexe en haute dimension.

Cette thèse est constituée de deux parties qui peuvent être lues indépendamment. Dans la première partie de la thèse, nous étudions des problèmes de couverture et de valorisation d’options liés à une mesure de risque. Notre approche principale est l’utilisation d’une fonction de risque asymétrique et d’un cadre asymptotique dans lequel nous obtenons des solutions optimales à travers des équations aux dérivées partielles (EDP) non-linéaires.Dans le premier chapitre, nous nous intéressons à la valorisation et la couverture des options européennes. Nous considérons le problème de l’optimisation du risque résiduel généré par une couverture à temps discret en présence d’un critère asymétrique de risque. Au lieu d'analyser le comportement asymptotique de la solution du problème discret associé, nous avons étudié la mesure asymétrique du risque résiduel intégré dans un cadre Markovian. Dans ce contexte, nous montrons l’existence de cette mesure de risque asymptotique. Ainsi, nous décrivons une stratégie de couverture asymptotiquement optimale via la solution d’une EDP totalement non-linéaire.Le deuxième chapitre est une application de cette méthode de couverture au problème de valorisation de la production d’une centrale. Puisque la centrale génère de coûts de maintenance qu’elle soit allumée ou non, nous nous sommes intéressés à la réduction du risque associé aux revenus incertains de cette centrale en se couvrant avec des contrats à terme. Nous avons étudié l’impact d’un coût de maintenance dépendant du prix d’électricité dans la stratégie couverture.Dans la seconde partie de la thèse, nous considérons plusieurs problèmes de contrôle liés à l'économie et la finance.Le troisième chapitre est dédié à l’étude d’une classe de problème du type McKean-Vlasov (MKV) avec bruit commun, appelée MKV polynomiale conditionnelle. Nous réduisons cette classe polynomiale par plongement de Markov à des problèmes de contrôle en dimension finie.Nous comparons trois techniques probabilistes différentes pour la résolution numérique du problème réduit: la quantification, la régression par randomisation du contrôle et la régression différée. Nous fournissons de nombreux exemples numériques, comme par exemple, la sélection de portefeuille avec incertitude sur une tendance du sous-jacent.Dans le quatrième chapitre, nous résolvons des équations de programmation dynamique associées à des valorisations financières sur le marché de l’énergie. Nous considérons qu’un modèle calibré pour les sous-jacents n’est pas disponible et qu’un petit échantillon obtenu des données historiques est accessible.En plus, dans ce contexte, nous supposons que les contrats à terme sont souvent gouvernés par des facteurs cachés modélisés par des processus de Markov. Nous proposons une méthode nonintrusive pour résoudre ces équations à travers les techniques de régression empirique en utilisant seulement l’historique du log du prix des contrats à terme observables.

Pas de résumé disponible.

La bibliothèque STochastic OPTimization (StOpt) vise à fournir des outils en C++ pour résoudre certains problèmes d'optimisation stochastique rencontrés en finance ou dans l'industrie. Un binding python est disponible pour certains objets C++ fournis permettant de résoudre facilement un problème d'optimisation par régression. Différentes méthodes sont disponibles :

• méthodes de programmation dynamique basées sur Monte Carlo avec des régressions (régresseurs globaux, locaux et épars), pour des états sous-jacents suivant certaines équations différentielles stochastiques non contrôlées (binding python fourni).
• Méthodes semi-lagrangiennes pour les équations générales de Hamilton Jacobi Bellman pour les états sous-jacents suivant certaines équations différentielles stochastiques contrôlées (C++ uniquement)
• Méthodes de programmation dynamique double stochastique pour traiter les problèmes de gestion de stocks stochastiques en haute dimension. Un module SDDP en python est fourni. Pour utiliser ce module, le problème d'optimisation transitoire doit être écrit en C++ et mappé en python (exemples fournis).
• Des méthodes sont fournies pour résoudre par Monte Carlo certains problèmes où l'état stochastique sous-jacent est contrôlé.
• Certaines méthodes de Monte Carlo pures sont proposées pour résoudre certaines EDP non linéaires

Pour chaque méthode, un cadre est fourni pour optimiser le problème et ensuite le simuler hors échantillon en utilisant les commandes optimales précédemment calculées. Des méthodes de parallélisation basées sur OpenMP et MPI sont fournies dans ce cadre permettant de résoudre des problèmes de haute dimension sur des clusters. La bibliothèque doit être suffisamment flexible pour être utilisée à différents niveaux selon la volonté de l'utilisateur.

La couverture en temps discret produit un risque résiduel, à savoir la tracking error. Le problème majeur est d'obtenir des politiques de valorisation/couverture minimisant cette erreur. Nous évaluons le risque entre les dates de négociation au moyen d'une fonction pénalisant de manière asymétrique les profits et les pertes. Après avoir dérivé l'asymptotique dans le cadre d'une mesure du risque en temps discret pour un grand nombre de dates de négociation, nous dérivons les stratégies optimales minimisant le risque asymptotique dans le cadre du temps continu. Nous caractérisons l'optimalité par une classe d'équations différentielles partielles (EDP) entièrement non linéaires. Des expériences numériques montrent que les stratégies optimales associées à l'approche discrète et asymptotique coïncident asymptotiquement.

Nous fournissons un résultat de représentation des PD-E paraboliques semi-linéaires, avec une non-linéarité polynomiale, par des processus de diffusion branchés. Nous étendons la représentation classique des équations KPP, introduite par Skorokhod [23], Watanabe [27] et McKean [18], en permettant une non-linéarité polynomiale dans la paire (u, Du), où u est la solution de l'EDP avec le gradient spatial Du. Comme dans la littérature précédente, notre résultat requiert une condition de non-explosion qui restreint la " petite maturité " ou la " petite non-linéarité " de l'EDP. Notre ingrédient principal est la technique de différenciation automatique comme dans [15], basée sur l'intégration par parties de Malliavin, qui permet de tenir compte des non-linéarités dans le gradient. En conséquence, les particules de notre diffusion branchée sont marquées par la nature de la non-linéarité. Cette nouvelle représentation a des implications numériques très importantes car elle est adaptée à la simulation de Monte Carlo. En effet, elle fournit la première méthode numérique pour les EDP non linéaires de haute dimension avec une estimation de l'erreur induite par le théorème central limite sans dimension. On constate également que la complexité est de l'ordre du carré de la dimension. La dernière section de cet article illustre l'efficacité de l'algorithme par quelques expériences numériques de haute dimension.

Nous étendons l'algorithme numérique basé sur le processus de branchement de Bouchard et al. [3], qui est dédié aux EDP semi-linéaires (ou BSDE) avec une non-linéarité de Lipschitz, au cas où la non-linéarité implique le gradient de la solution. Comme dans [3], ceci requiert une procédure de localisation qui utilise des estimations a priori sur la solution réelle, de façon à assurer la bonne pose du schéma d'itération de Picard impliqué, et la convergence globale de l'algorithme. Lorsque la non-linéarité dépend du gradient, ce dernier doit également être contrôlé. Ceci est fait en utilisant une procédure de lifting. La convergence de notre algorithme est prouvée sans aucune limitation de l'horizon temporel. Nous fournissons également des simulations numériques pour illustrer les performances de l'algorithme.