CHOPIN Nicolas

La première partie de cette thèse concerne l'inférence de modèles statistiques non normalisés. Nous étudions deux méthodes d'inférence basées sur de l'échantillonnage aléatoire : Monte-Carlo MLE (Geyer, 1994), et Noise Contrastive Estimation (Gutmann et Hyvarinen, 2010). Cette dernière méthode fut soutenue par une justification numérique d'une meilleure stabilité, mais aucun résultat théorique n'avait encore été prouvé. Nous prouvons que Noise Contrastive Estimation est plus robuste au choix de la distribution d'échantillonnage. Nous évaluons le gain de précision en fonction du budget computationnel. La deuxième partie de cette thèse concerne l'échantillonnage aléatoire approché pour les distributions de grande dimension. La performance de la plupart des méthodes d’échantillonnage se détériore rapidement lorsque la dimension augmente, mais plusieurs méthodes ont prouvé leur efficacité (e.g. Hamiltonian Monte Carlo, Langevin Monte Carlo). Dans la continuité de certains travaux récents (Eberle et al., 2017 . Cheng et al., 2018), nous étudions certaines discrétisations d’un processus connu sous le nom de kinetic Langevin diffusion. Nous établissons des vitesses de convergence explicites vers la distribution d'échantillonnage, qui ont une dépendance polynomiale en la dimension. Notre travail améliore et étend les résultats de Cheng et al. pour les densités log-concaves.

Dans des environnements incertains et changeants, prendre des décisions nécessite l’analyse et la pondération des informations passées et présentes. Pour modéliser le comportement humain dans de tels environnements, des approches computationnelles de l’apprentissage ont été développées basées sur l’apprentissage par renforcement ou de l’inférence bayésienne. Afin de mieux prendre en compte la variabilité comportementale, ces approches supposent un bruit dans la sélection de l’action. Dans la première partie de mon travail, j’argumente que le bruit dans la sélection de l’action est insuffisant pour expliquer la variabilité comportementale et je montre la présence de bruit d'apprentissage reflétant des imprécisions de calcul. À cette fin, j’introduis du bruit dans l'algorithme d'apprentissage en donnant la possibilité d'écarts aléatoires de la règle de mise à jour sans bruit. L'ajout de ce bruit permet de mieux expliquer les performances comportementales humaines (Findling C., Skvortsova V., et al., 2018a, en préparation). Dans la deuxième partie de mon travail, je montre que ce bruit possède des propriétés adaptatives vertueuses dans les processus d’apprentissage suscités dans des environnements changeants (volatiles). En utilisant le cadre de modélisation Bayésien, je démontre qu’un modèle d’apprentissage simple, faisant l’hypothèse de contingences externes stables, mais avec du bruit dans l’apprentissage, est aussi performant que le modèle Bayésien optimal qui infèrent la volatilité de l’environnement. En outre, j’établis que ce modèle de bruit explique mieux le comportement humain dans des environnements changeants (Findling C. et al., 2018b, en préparation).

La statistique bayésienne computationnelle construit des approximations de la distribution a posteriori soit par échantillonnage, soit en construisant des approximations tractables. La contribution de cette thèse au domaine des statistiques bayésiennes est le développement de nouvelle méthodologie en combinant des méthodes existantes. Nos approches sont mieux adaptées à la dimension ou entraînent une réduction du coût de calcul par rapport aux méthodes existantes.Notre première contribution améliore le calcul bayésien approximatif (ABC) en utilisant le quasi-Monte Carlo (QMC). ABC permet l'inférence bayésienne dans les modèles avec une vraisemblance intractable. QMC est une technique de réduction de variance qui fournit des estimateurs plus précis d’intégrales. Notre deuxième contribution utilise le QMC pour l'inférence variationnelle(VI). VI est une méthode pour construire des approximations tractable à la distribution a posteriori . La troisième contribution développe une approche pour adapter les échantillonneurs Monte Carlo séquentiel (SMC) lorsque on utilise des noyaux de mutation Hamiltonian MonteCarlo (HMC). Les échantillonneurs SMC permettent une estimation non biaisée de l’évidence du modèle, mais ils ont tendance à perdre en performance lorsque la dimension croit. HMC est une technique de Monte Carlo par chaîne de Markov qui présente des propriétés intéressantes lorsque la dimension de l'espace cible augmente mais elle est difficile à adapter. En combinant les deux,nous construisons un échantillonneur qui tire avantage des deux.

Pas de résumé disponible.

La partie principale de cette th?se s'int?resse ? d?velopper les aspects th?oriques et algorithmiques pour trois proc?dures statistiques distinctes. Le premier probl?me abord? est la compl?tion de matrices binaires. Nous proposons un estimateur bas? sur une approximation variationnelle pseudo-bay?sienne en utilisant une fonction de perte diff?rente de celles utilis?es auparavant. Nous pouvons calculer des bornes non asymptotiques sur le risque int?gr?. L'estimateur propos? est beaucoup plus rapide ? calculer qu'une estimation de type MCMC et nous montrons sur des exemples qu'il est efficace en pratique. Le deuxi?me probl?me abord? est l'?tude des propri?t?s th?oriques du minimiseur du risque empirique p?nalis? pour des fonctions de perte lipschitziennes. Nous pouvons ensuite appliquer les r?sultats principaux sur la r?gression logistique avec la p?nalisation SLOPE ainsi que sur la compl?tion de matrice. Le troisi?me chapitre d?veloppe une approximation de type Expectation-Propagation quand la vraisemblance n'est pas explicite. On utilise alors l'approximation ABC dans un second temps. Cette proc?dure peut s'appliquer ? beaucoup de mod?les et est beaucoup plus pr?cise et rapide. Elle est appliqu?e ? titre d'exemple sur un mod?le d'extr?mes spatiaux.

Le problème de filtrage consiste à estimer l'état d'un système dynamique, appelé signal qui est souvent un processus markovien, à partir d'observation bruitées des états passés du système. Dans ce mémoire, nous considérons un modèle de filtrage en temps continu pour le processus de diffusion. Le but est d'étudier la stabilité du filtre optimal par rapport à sa condition initiale au-delà de l'hypothèse de mélange (fort) pour le noyau de transition en ignorant l'ergodicité du signal.

Pas de résumé disponible.

Cet article propose de passer en revue certains développements récents en statistique bayésienne pour les données de haute dimension. Après avoir donné quelques brèves motivations dans une courte introduction, nous décrivons les nouvelles avancées dans la compréhension du calcul bayésien postérieur ainsi que les contributions théoriques dans les approches bayésiennes non paramétriques et de haute dimension. D'un point de vue appliqué, nous décrivons la méthode particulaire dite SQMC pour calculer la loi bayésienne postérieure, et nous fournissons une analyse non paramétrique de la méthode ABC très répandue. Du point de vue théorique, nous décrivons certaines avancées récentes en matière de cohérence bayésienne pour un modèle de Markov caché non paramétrique ainsi que de nouveaux résultats PAC-Bayes pour différents modèles de régression à haute dimension.

Pas de résumé disponible.

Cette thèse est consacrée à l'étude des méthodes de Monte Carlo pour l'échantillonnage de vecteurs binaires de grande dimension à partir de lois cibles complexes. Si l'espace-état est trop grand pour une énumération exhaustive, ces méthodes permettent d'estimer l’espérance d’une loi donnée par rapport à une fonction d'intérêt. Les approches standards sont principalement basées sur les méthodes Monte Carlo à chaîne de Markov de type marche aléatoire, où la loi stationnaire de la chaîne est la distribution d’intérêt et la moyenne de la trajectoire converge vers l’espérance par le théorème ergodique. Nous proposons un nouvel algorithme d'échantillonnage basé sur les méthodes de Monte Carlo séquentielles qui sont plus robustes au problème de multimodalité grâce à une étape de recuit simulé. La performance de l'échantillonneur de Monte Carlo séquentiel dépend de la capacité d’échantillonner selon des lois auxiliaires qui sont, en un certain sens, proche à la loi de l'intérêt. Le travail principal de cette thèse présente des stratégies visant à construire des familles paramétriques pour l'échantillonnage de vecteurs binaires avec dépendances. L'utilité de cette approche est démontrée dans le cadre de sélection bayésienne de variables et l'optimisation combinatoire des fonctions pseudo-booléennes.

Pas de résumé disponible.