ALQUIER Pierre

Cette thèse de doctorat traite de l'inférence variationnelle et de la robustesse en statistique et en machine learning. Plus précisément, elle se concentre sur les propriétés statistiques des approximations variationnelles et sur la conception d'algorithmes efficaces pour les calculer de manière séquentielle, et étudie les estimateurs basés sur le Maximum Mean Discrepancy comme règles d'apprentissage qui sont robustes à la mauvaise spécification du modèle.Ces dernières années, l'inférence variationnelle a été largement étudiée du point de vue computationnel, cependant, la littérature n'a accordé que peu d'attention à ses propriétés théoriques jusqu'à très récemment. Dans cette thèse, nous étudions la consistence des approximations variationnelles dans divers modèles statistiques et les conditions qui assurent leur consistence. En particulier, nous abordons le cas des modèles de mélange et des réseaux de neurones profonds. Nous justifions également d'un point de vue théorique l'utilisation de la stratégie de maximisation de l'ELBO, un critère numérique qui est largement utilisé dans la communauté VB pour la sélection de modèle et dont l'efficacité a déjà été confirmée en pratique. En outre, l'inférence Bayésienne offre un cadre d'apprentissage en ligne attrayant pour analyser des données séquentielles, et offre des garanties de généralisation qui restent valables même en cas de mauvaise spécification des modèles et en présence d'adversaires. Malheureusement, l'inférence Bayésienne exacte est rarement tractable en pratique et des méthodes d'approximation sont généralement employées, mais ces méthodes préservent-elles les propriétés de généralisation de l'inférence Bayésienne ? Dans cette thèse, nous montrons que c'est effectivement le cas pour certains algorithmes d'inférence variationnelle (VI). Nous proposons de nouveaux algorithmes tempérés en ligne et nous en déduisons des bornes de généralisation. Notre résultat théorique repose sur la convexité de l'objectif variationnel, mais nous soutenons que notre résultat devrait être plus général et présentons des preuves empiriques à l'appui. Notre travail donne des justifications théoriques en faveur des algorithmes en ligne qui s'appuient sur des méthodes Bayésiennes approchées.Une autre question d'intérêt majeur en statistique qui est abordée dans cette thèse est la conception d'une procédure d'estimation universelle. Cette question est d'un intérêt majeur, notamment parce qu'elle conduit à des estimateurs robustes, un thème d'actualité en statistique et en machine learning. Nous abordons le problème de l'estimation universelle en utilisant un estimateur de minimisation de distance basé sur la Maximum Mean Discrepancy. Nous montrons que l'estimateur est robuste à la fois à la dépendance et à la présence de valeurs aberrantes dans le jeu de données. Nous mettons également en évidence les liens qui peuvent exister avec les estimateurs de minimisation de distance utilisant la distance L2. Enfin, nous présentons une étude théorique de l'algorithme de descente de gradient stochastique utilisé pour calculer l'estimateur, et nous étayons nos conclusions par des simulations numériques. Nous proposons également une version Bayésienne de notre estimateur, que nous étudions à la fois d'un point de vue théorique et d'un point de vue computationnel.

L'objectif de cette thèse est de proposer de nouvelles méthodologies à appliquer aux données du transport public. En effet, nous sommes entourés de plus en plus de capteurs et d'ordinateurs générant d'énormes quantités de données. Dans le domaine des transports publics, les cartes sans contact génèrent des données à chaque fois que nous les utilisons, que ce soit pour les chargements ou nos trajets. Dans cette thèse, nous utilisons ces données dans deux buts distincts. Premièrement, nous voulions être capable de détecter des groupes de passagers ayant des habitudes temporelles similaires. Pour ce faire, nous avons commencé par utilisé la factorisation de matrices non-négatives comme un outil de pré-traitement pour la classification. Puis nous avons introduit l'algorithme NMF-EM permettant une réduction de la dimension et une classification de manière simultanée pour un modèle de mélange de distributions multinomiales. Dans un second temps, nous avons appliqué des méthodes de régression à ces données afin d'être capable de fournir une fourchette de ces validations probables. De même, nous avons appliqué cette méthodologie à la détection d'anomalies sur le réseau.

Pas de résumé disponible.

On s'intéresse d'abord au modèle de suite gaussienne parcimonieuse. Une approche bayésienne empirique sur l'a priori Spike and Slab permet d'obtenir la convergence à vitesse minimax du moment d'ordre 2 a posteriori pour des Slabs Cauchy et on prouve un résultat de sous-optimalité pour un Slab Laplace. Un meilleur choix de Slab permet d'obtenir la constante exacte. Dans le modèle d'estimation de densité, un a priori arbre de Polya tel que les variables de l'arbre ont une distribution de type Spike and Slab donne la convergence à vitesse minimax et adaptative pour la norme sup de la loi a posteriori et un théorème Bernstein-von Mises non paramétrique.

Cette thèse aborde le sujet de la régression linéaire dans différents cadres, liés notamment à l’apprentissage. Les deux premiers chapitres présentent le contexte des travaux, leurs apports et les outils mathématiques utilisés. Le troisième chapitre est consacré à la construction d’une fonction de régularisation optimale, permettant par exemple d’améliorer sur le plan théorique la régularisation de l’estimateur LASSO. Le quatrième chapitre présente, dans le domaine de l’optimisation convexe séquentielle, des accélérations d’un algorithme récent et prometteur, MetaGrad, et une conversion d’un cadre dit “séquentiel déterministe" vers un cadre dit “batch stochastique" pour cet algorithme. Le cinquième chapitre s’intéresse à des prévisions successives par intervalles, fondées sur l’agrégation de prédicteurs, sans retour d’expérience intermédiaire ni modélisation stochastique. Enfin, le sixième chapitre applique à un jeu de données pétrolières plusieurs méthodes d’agrégation, aboutissant à des prévisions ponctuelles court-terme et des intervalles de prévision long-terme.

La partie principale de cette th?se s'int?resse ? d?velopper les aspects th?oriques et algorithmiques pour trois proc?dures statistiques distinctes. Le premier probl?me abord? est la compl?tion de matrices binaires. Nous proposons un estimateur bas? sur une approximation variationnelle pseudo-bay?sienne en utilisant une fonction de perte diff?rente de celles utilis?es auparavant. Nous pouvons calculer des bornes non asymptotiques sur le risque int?gr?. L'estimateur propos? est beaucoup plus rapide ? calculer qu'une estimation de type MCMC et nous montrons sur des exemples qu'il est efficace en pratique. Le deuxi?me probl?me abord? est l'?tude des propri?t?s th?oriques du minimiseur du risque empirique p?nalis? pour des fonctions de perte lipschitziennes. Nous pouvons ensuite appliquer les r?sultats principaux sur la r?gression logistique avec la p?nalisation SLOPE ainsi que sur la compl?tion de matrice. Le troisi?me chapitre d?veloppe une approximation de type Expectation-Propagation quand la vraisemblance n'est pas explicite. On utilise alors l'approximation ABC dans un second temps. Cette proc?dure peut s'appliquer ? beaucoup de mod?les et est beaucoup plus pr?cise et rapide. Elle est appliqu?e ? titre d'exemple sur un mod?le d'extr?mes spatiaux.

La tomographie d'état quantique, tâche importante dans le traitement de l'information quantique vise à reconstruire un état à partir de données de mesure préparées. Les méthodes bayésiennes sont reconnues comme l'un des choix les plus efficaces et fiables pour l'estimation des états quantiques~\cite{blume2010optimal}. Plusieurs travaux numériques ont montré que les estimations bayésiennes sont comparables, et même meilleures que d'autres méthodes dans le problème de la récupération d'un état de 1$-qubit. Cependant, le problème du Cependant, le problème du choix de la distribution antérieure dans le cas général de $n$ qubits n'est pas simple. simple. Plus important encore, les performances statistiques des estimateurs de type bayésien n'ont pas été étudiées d'un point de vue statistique. n'ont pas encore été étudiées d'un point de vue théorique. Dans cet article, nous Dans cet article, nous proposons une nouvelle antériorité pour les états quantiques (matrices de densité), et nous définissons des estimateurs pseudo-bayésiens. définissons des estimateurs pseudo-bayésiens de la matrice de densité. Ensuite, en utilisant les théorèmes PAC-Bayes, nous dérivons des taux de convergence pour la moyenne postérieure. Les performances numériques de ces estimateurs sont testées sur des ensembles de données simulées et réelles. réels.

Ce document traite du problème de la grande dimension dans des processus GARCH multivariés. L'auteur propose une nouvelle dynamique vine-GARCH pour des processus de corrélation paramétrisés par un graphe non dirigé appelé "vine". Cette approche génère directement des matrices définies-positives et encourage la parcimonie. Après avoir établi des résultats d'existence et d'unicité pour les solutions stationnaires du modèle vine-GARCH, l'auteur analyse les propriétés asymptotiques du modèle. Il propose ensuite un cadre général de M-estimateurs pénalisés pour des processus dépendants et se concentre sur les propriétés asymptotiques de l'estimateur "adaptive Sparse Group Lasso". La grande dimension est traitée en considérant le cas où le nombre de paramètres diverge avec la taille de l'échantillon. Les résultats asymptotiques sont illustrés par des expériences simulées. Enfin dans ce cadre l'auteur propose de générer la sparsité pour des dynamiques de matrices de variance covariance. Pour ce faire, la classe des modèles ARCH multivariés est utilisée et les processus correspondants à celle-ci sont estimés par moindres carrés ordinaires pénalisés.

Pas de résumé disponible.

Soit $(\bX, Y)$ une paire aléatoire prenant des valeurs dans $\mathbb R^p \times \mathbb R$. Dans le modèle dit à un seul indice, on a $Y=f^{\star}(\theta^{\star T}\bX)+\bW$, où $f^{\star}$ est une fonction inconnue mesurable à une variable, $\theta^{\star}$ est un vecteur inconnu dans $\mathbb R^d$, et $W$ désigne un bruit aléatoire satisfaisant $\mathbb E[\bW|\bX]=0$. Le modèle à indice unique est connu pour offrir un moyen flexible de modéliser une variété de phénomènes du monde réel à haute dimension. Cependant, malgré sa relative simplicité, ce schéma de réduction de dimension est confronté à de graves complications dès que la dimension sous-jacente devient plus grande que le nombre d'observations (paradigme ''$p$ plus grand que $n$''). Pour contourner cette difficulté, nous considérons le problème de l'estimation d'un modèle à indice unique du point de vue de la sparsité en utilisant une approche PAC-Bayes. Du point de vue théorique, nous proposons une inégalité d'oracle nette, qui est plus puissante que les inégalités d'oracle les plus connues pour d'autres procédures courantes de récupération à index unique. La méthode proposée est mise en œuvre au moyen de la technique de Monte Carlo par chaîne de Markov à saut réversible et ses performances sont comparées à celles des procédures standard.

Nous établissons des taux de convergences dans la prévision des séries temporelles en utilisant l'approche d'apprentissage statistique basée sur les inégalités d'oracle. Une série d'articles étend les inégalités d'oracle obtenues pour des observations iid aux séries temporelles sous des conditions de dépendance faible. Étant donné une famille de prédicteurs et $n$ observations, les inégalités d'oracle stipulent qu'un prédicteur prévoit la série aussi bien que le meilleur prédicteur de la famille jusqu'à un terme résiduel $\Delta_n$. En utilisant l'approche PAC-Bayes, nous établissons sous des conditions de dépendance faibles des inégalités d'oracle avec des taux de convergence optimaux. Nous étendons les résultats précédents pour la fonction de perte absolue à toute fonction de perte de Lipschitz avec des taux $\Delta_n\sim\sqrt{ c(\Theta)/ n}$ où $c(\Theta)$ mesure la complexité du modèle. Nous appliquons la méthode des fonctions de perte quantile pour prévoir le PIB français. Sous des conditions supplémentaires sur les fonctions de perte (satisfaites par la fonction de perte quadratique) et sur les séries temporelles, nous affinons les taux de convergence à $\Delta_n \sim c(\Theta)/n$. Nous atteignons pour la première fois ces taux rapides pour des processus à mélange uniforme. Ces taux sont connus pour être optimaux dans le cas iid et pour les séquences individuelles. En particulier, nous généralisons les résultats de Dalalyan et Tsybakov sur l'estimation de régression clairsemée au cas de l'autorégression.

Nous introduisons une nouvelle méthode pour reconstruire la matrice de densité $\rho$ d'un système de $n$-qubits et estimer son rang $d$ à partir de données obtenues par des mesures de tomographie d'état quantique répétées $m$ fois. La procédure consiste à minimiser le risque d'un estimateur linéaire $\hat{\rho}$ de $\rho$ pénalisé par un rang donné (de 1 à $2^n$), où $\hat{\rho}$ est préalablement obtenu par la méthode des moments. Nous obtenons simultanément un estimateur du rang et la matrice densité résultante associée à ce rang. Nous établissons une borne supérieure pour l'erreur de l'estimateur pénalisé, évalué avec la norme de Frobenius, qui est d'ordre $dn(4/3)^n /m$ et la cohérence pour l'estimateur du rang. La méthodologie proposée est efficace sur le plan informatique et est illustrée par des exemples d'états et des ensembles de données expérimentales réelles.

Nous introduisons une nouvelle méthode pour reconstruire la matrice de densité $\rho$ d'un système de $n$-qubits et estimer son rang $d$ à partir de données obtenues par des mesures de tomographie d'état quantique répétées $m$ fois. La procédure consiste à minimiser le risque d'un estimateur linéaire $\hat{\rho}$ de $\rho$ pénalisé par un rang donné (de 1 à $2^n$), où $\hat{\rho}$ est préalablement obtenu par la méthode des moments. Nous obtenons simultanément un estimateur du rang et la matrice densité résultante associée à ce rang. Nous établissons une borne supérieure pour l'erreur de l'estimateur pénalisé, évalué avec la norme de Frobenius, qui est d'ordre $dn(4/3)^n /m$ et la cohérence pour l'estimateur du rang. La méthodologie proposée est efficace sur le plan informatique et est illustrée par des exemples d'états et des ensembles de données expérimentales réelles.

Inférence Adaptative, Inductive et Transductive, pour l'Estimation de la Régression et de la Densité (Pierre Alquier) Cette thèse a pour objet l'étude des propriétés statistiques de certains algorithmes d'apprentissage dans le cas de l'estimation de la régression et de la densité. Elle est divisée en trois parties. La première partie consiste en une généralisation des théorèmes PAC-Bayésiens, sur la classification, d'Olivier Catoni, au cas de la régression avec une fonction de perte générale. Dans la seconde partie, on étudie plus particulièrement le cas de la régression aux moindres carrés et on propose un nouvel algorithme de sélection de variables. Cette méthode peut être appliquée notamment au cas d'une base de fonctions orthonormales, et conduit alors à des vitesses de convergence optimales, mais aussi au cas de fonctions de type noyau, elle conduit alors à une variante des méthodes dites "machines à vecteurs supports" (SVM). La troisième partie étend les résultats de la seconde au cas de l'estimation de densité avec perte quadratique.