LECUE Guillaume

Au cours des dernières années, le transport optimal a gagné en popularité en apprentissage automatique comme moyen de comparer des mesures de probabilité. Contrairement aux dissimilarités plus classiques pour les distributions de probabilité, telles que la divergence de Kullback-Leibler, les distances de transport optimal (ou distances de Wasserstein) permettent de comparer des distributions dont les supports sont disjoints en prenant en compte la géométrie de l'espace sous-jacent. Cet avantage est cependant entravé par le fait que ces distances sont généralement calculées en résolvant un programme linéaire, ce qui pose, lorsque l'espace sous-jacent est de grande dimension, des défis statistiques bien documentés et auxquels on se réfère communément sous le nom de ``fléau'' de la dimension. Trouver de nouvelles méthodologies qui puissent atténuer ce problème est donc un enjeu crucial si l'on veut que les algorithmes fondés sur le transport optimal puissent fonctionner en pratique.Au-delà de cet aspect purement métrique, un autre intérêt de la théorie du transport optimal réside en ce qu'elle fournit des outils mathématiques pour étudier des cartes qui peuvent transformer, ou transporter, une mesure en une autre. De telles cartes jouent un rôle de plus en plus important dans divers domaines des sciences (biologie, imagerie cérébrale) ou sous-domaines de l'apprentissage automatique (modèles génératifs, adaptation de domaine), entre autres. Estimer de telles transformations qui soient à la fois optimales et qui puissent être généralisées en dehors des simples données, est un problème ouvert.Dans cette thèse, nous proposons un nouveau cadre d'estimation pour calculer des variantes des distances de Wasserstein. Le but est d'amoindrir les effets de la haute dimension en tirant partie des structures de faible dimension cachées dans les distributions. Cela peut se faire en projetant les mesures sur un sous-espace choisi de telle sorte à maximiser la distance de Wasserstein entre leurs projections. Outre cette nouvelle méthodologie, nous montrons que ce cadre d'étude s'inscrit plus largement dans un lien entre la régularisation des distances de Wasserstein et la robustesse.Dans la contribution suivante, nous partons du même problème d'estimation du transport optimal en grande dimension, mais adoptons une perspective différente : plutôt que de modifier la fonction de coût, nous revenons au point de vue plus fondamental de Monge et proposons d'utiliser le théorème de Brenier et la théorie de la régularité de Caffarelli pour définir une nouvelle procédure d'estimation des cartes de transport lipschitziennes qui soient le gradient d'une fonction fortement convexe.

Pas de résumé disponible.

Le principal objectif de cette thèse est d'étudier des méthodes d'apprentissage statistique robuste. Traditionnellement, en statistique nous utilisons des modèles ou des hypothèses simplificatrices qui nous permettent de représenter le monde réel tout en sachant l'analyser convenablement. Cependant, certaines déviations des hypothèses peuvent fortement perturber l'analyse statistique d'une base de données. Par statistiques robuste, nous entendons ici des méthodes pouvant gérer d'une part des données dites anormales (erreur de capteur, erreur humaine) mais aussi des données de nature très variables. Nous appliquons ce genre de technique à l'apprentissage statistique, donnant ainsi des assurances théoriques d'efficacité des méthodes proposées ainsi que des illustrations sur des données simulées et réelles.

Nous établissons des limites de risque pour les minimiseurs de risque empiriques régularisés (RERM) lorsque la perte est Lipschitz et convexe et que la fonction de régularisation est une norme. Dans une première partie, nous obtenons ces résultats dans le cadre i.i.d. sous des hypothèses subgaussiennes sur le plan de sondage. Dans une deuxième partie, nous considérons un cadre plus général où le plan peut avoir des queues plus lourdes et où les données peuvent être corrompues par des valeurs aberrantes à la fois dans le plan et dans les variables de réponse. Dans cette situation, RERM est généralement peu performant. Nous analysons une procédure alternative basée sur les principes de la médiane des moyennes et appelée "minmax MOM". Nous montrons des taux de déviation subgaussiens optimaux pour ces estimateurs dans le cadre relaxé. Les principaux résultats sont des méta-théorèmes permettant un large éventail d'applications à divers problèmes de la théorie de l'apprentissage. Pour montrer un échantillon non exhaustif de ces applications potentielles, on l'applique à des problèmes de classification avec des fonctions de perte logistique régularisées par LASSO et SLOPE, à des problèmes de régression avec perte de Huber régularisée par LASSO de groupe, variation totale et LASSO fusionné. Un autre avantage de la formulation minmax MOM est qu'elle suggère une manière systématique de modifier légèrement les algorithmes basés sur la descente utilisés dans les statistiques à haute dimension pour les rendre robustes aux valeurs aberrantes. Nous illustrons ce principe dans une section de simulations où une version "minmax MOM" des algorithmes classiques de descente proximale est transformée en algorithmes robustes aux valeurs aberrantes.

Pas de résumé disponible.

Cette thèse de doctorat est centrée sur l'apprentissage supervisé. L'objectif principal est l'utilisation de méthodes de localisation pour obtenir des vitesses rapides de convergence, c'est-à-dire, des vitesse de l'ordre O(1/n), où n est le nombre d'observations. Ces vitesses ne sont pas toujours atteignables. Il faut imposer des contraintes sur la variance du problème comme une condition de Bernstein ou de marge. Plus particulièrement, dans cette thèse nous tentons d'établir des vitesses rapides de convergences pour des problèmes de robustesse et d'interpolation.On dit qu'un estimateur est robuste si ce dernier présente certaines garanties théoriques, sous le moins d'hypothèses possibles. Cette problématique de robustesse devient de plus en plus populaire. La raison principale est que dans l'ère actuelle du “big data", les données sont très souvent corrompues. Ainsi, construire des estimateurs fiables dans cette situation est essentiel. Dans cette thèse nous montrons que le fameux minimiseur du risque empirique (regularisé) associé à une fonction de perte Lipschitz est robuste à des bruits à queues lourde ainsi qu'a des outliers dans les labels. En revanche si la classe de prédicteurs est à queue lourde, cet estimateur n'est pas fiable. Dans ce cas, nous construisons des estimateurs appelé estimateur minmax-MOM, optimal lorsque les données sont à queues lourdes et possiblement corrompues.En apprentissage statistique, on dit qu'un estimateur interpole, lorsque ce dernier prédit parfaitement sur un jeu d'entrainement. En grande dimension, certains estimateurs interpolant les données peuvent être bons. En particulier, cette thèse nous étudions le modèle linéaire Gaussien en grande dimension et montrons que l'estimateur interpolant les données de plus petite norme est consistant et atteint même des vitesses rapides.

Le réglage des hyperparamètres et la sélection de modèles sont des étapes importantes de l'apprentissage automatique. Malheureusement, les procédures classiques de calibration des hyperparamètres et de sélection des modèles sont sensibles aux valeurs aberrantes et aux données à forte queue. Dans ce travail, nous construisons une procédure de sélection qui peut être considérée comme une alternative robuste à la validation croisée et qui est basée sur le principe de la médiane des moyennes. En utilisant cette procédure, nous construisons également une méthode d'ensemble qui, entraînée avec des algorithmes et des données corrompues à queue lourde, sélectionne un algorithme, l'entraîne avec un grand sous-échantillon non corrompu et règle automatiquement ses hyperparamètres. La construction s'appuie sur une méthodologie de division et de conquête, ce qui rend cette méthode facilement extensible pour l'autoML étant donné une base de données corrompue. Cette méthode est testée avec le LASSO qui est connu pour être très sensible aux valeurs aberrantes.

Nous obtenons des taux d'erreur d'estimation pour les estimateurs obtenus par agrégation de tests de médiane des moyennes reg-ularisés, suivant une construction de Le Cam. Les résultats sont valables avec une probabilité exponentiellement grande, avec seulement des hypothèses de moments faibles sur les données. Toute norme peut être utilisée pour la régularisation. Lorsqu'elle a un certain pouvoir d'induction de sparsité, nous récupérons des taux de convergence sparses. La procédure est robuste puisqu'une grande partie des données peuvent être corrompues, ces valeurs aberrantes n'ont rien à voir avec l'oracle que nous voulons reconstruire. Notre limite de risque générale est de l'ordre de max minimax taux dans la configuration i.i.d., nombre d'outliers nombre d'observations. En particulier, le nombre de données aberrantes peut être aussi grand que (nombre de données) × (taux minimax) sans affecter ce taux. Il n'est pas nécessaire que les autres données soient distribuées de manière identique, mais elles doivent seulement avoir des moments L 1 et L 2 équivalents. Par exemple, le taux minimax s log(ed/s)/N de récupération d'un vecteur s-sparse dans R d est atteint avec une probabilité exponentiellement grande par une version médiane des moyennes de LASSO lorsque le bruit a q 0 moments pour un certain q 0 > 2, les entrées de la matrice de conception doivent avoir C 0 log(ed) moments et l'ensemble de données peut être corrompu jusqu'à C 1 s log(ed/s) valeurs aberrantes.

Les encastrements moyens constituent un outil extrêmement flexible et puissant dans le domaine de l'apprentissage automatique et des statistiques pour représenter les distributions de probabilité et définir une semi-métrie (MMD, maximum mean discrepancy. également appelée N-distance ou distance énergétique), avec de nombreuses applications réussies. La représentation est construite comme l'espérance de la carte de caractéristiques définie par un noyau. En tant que moyenne, son estimateur empirique classique, cependant, peut être arbitrairement sévèrement affecté même par une seule valeur aberrante dans le cas de caractéristiques non limitées. À notre connaissance, on ne connaît malheureusement pas la cohérence des quelques techniques existantes qui tentent d'atténuer ce grave problème de sensibilité. Dans cet article, nous montrons comment le principe récemment apparu de la médiane des moyennes peut être utilisé pour concevoir des estimateurs pour l'intégration de la moyenne du noyau et la MMD avec des propriétés de résistance excessive aux valeurs aberrantes, et des limites de déviation sub-gaussiennes optimales sous des hypothèses légères.

Ce mémoire d'habilitation a pour objet de donner un compte-rendu de mes contributions à la statistique en grande dimension. La première partie est consacrée au problème de la complétion de matrices. Après avoir présenté le problème, je décris les résultats principaux obtenus dans les articles [Klo11, GK17, KLMS15, Klo15, KLT16, KT15, LKMS14]. La seconde partie est consacrée au modèle à coefficients variables . j'y présente les principaux résultats des études non asymptotique [KP13, KP15]. Enfin, la troisième partie présente les résultats de [KTV16] portant sur le modèle de réseaux parcimonieux et le modèle du graphon.

Les changements dans le contexte du traitement radar aéroporté impliquent de plus en plus d'améliorations qui justifient la recherche d'une alternative au filtrage adapté, qui est le processus utilisé classiquement pour estimer les paramètres des cibles détectées. Le Compressed Sensing ouvre la perspective d'un nouveau traitement, également efficace dans les configurations de cibles multiples, avec de meilleures performances de suivi et de reconnaissance que l'approche classique. Nous cherchons à appliquer ce traitement aux formes d'onde dites à évasion de fréquence. Le choix intégral des paramètres de définition du signal transmis déterminee entièrement la matrice de mesure de la procédure du Compressed Sensing, laquelle solution fournit toutes les informations recherchées sur la scène observée. Pour chaque signal à évasion de fréquence, et d'amplitude constante, la matrice de mesure correspondante est obtenue en extrayant certaines lignes d'une matrice de Fourier étendue particulière, la matrice de Fourier 2D. La construction de la génération de la matrice de mesure est importante car le succès de la reconstruction dépend des propriétés algébriques de cette matrice.

Nous établissons des limites de risque pour les minimiseurs de risque empiriques régularisés (RERM) lorsque la perte est Lipschitz et convexe et que la fonction de régularisation est une norme. Nous obtenons ces résultats dans la configuration i.i.d. sous des hypothèses subgaussiennes sur le plan. Dans une deuxième partie, nous considérons un cadre plus général où le plan peut avoir des queues plus lourdes et où les données peuvent être corrompues par des valeurs aberrantes à la fois dans le plan et dans les variables de réponse. Dans cette situation, RERM est généralement peu performant. Nous analysons une procédure alternative basée sur les principes de la médiane des moyennes et appelée "minmax MOM". Nous montrons des taux de déviation subgaussiens optimaux pour ces estimateurs dans le cadre relaxé. Les principaux résultats sont des méta-théorèmes permettant un large éventail d'applications à divers problèmes de la théorie de l'apprentissage. Pour montrer un échantillon non exhaustif de ces applications potentielles, ils sont appliqués à des problèmes de classification avec des fonctions de perte logistique régularisées par LASSO et SLOPE, à des problèmes de régression avec une perte de Huber régularisée par LASSO de groupe, LASSO de variation totale et LASSO fusionné et à des problèmes de complétion de matrice avec une perte de quantile régularisée par la norme nucléaire. Une courte étude de simulation conclut l'article, illustrant en particulier les propriétés de robustesse des procédures MOM minmax régularisées.

Pas de résumé disponible.

Nous présentons de nouveaux estimateurs pour l'apprentissage automatique robuste basés sur les estimateurs de la moyenne des variables aléatoires à valeur réelle (MOM). Ces estimateurs atteignent des taux de convergence optimaux sous des hypothèses minimales sur l'ensemble de données. L'ensemble de données peut également avoir été corrompu par des valeurs aberrantes sur lesquelles aucune hypothèse n'est accordée. Nous analysons également ces nouveaux estimateurs avec des outils standard de la statistique robuste. En particulier, nous revisitons le concept de point de rupture. Nous modifions la définition originale en étudiant le nombre de valeurs aberrantes qu'un ensemble de données peut contenir sans détériorer les propriétés d'estimation d'un estimateur donné. Cette nouvelle notion de nombre de rupture, qui tient compte des performances statistiques des estimateurs, est de nature non asymptotique et adaptée à l'apprentissage automatique. Nous avons prouvé que le nombre de pannes de notre estimateur est de l'ordre de (nombre d'observations)*(taux de convergence). Par exemple, le nombre de panne de nos estimateurs pour le problème de l'estimation d'un vecteur à d dimensions avec une variance de bruit sigma^2 est sigma^2d et il devient sigma^2 s log(d/s) lorsque ce vecteur n'a que s composantes non nulles. Au-delà de ce point de rupture, nous avons prouvé que le taux de convergence atteint par notre estimateur est (nombre de valeurs aberrantes) divisé par (nombre d'observation). Outre ces garanties théoriques, l'amélioration majeure apportée par ces nouveaux estimateurs est qu'ils sont facilement calculables en pratique. En fait, tout algorithme utilisé pour approximer le minimiseur de risque empirique standard (ou ses versions régularisées) possède une version robuste approximant nos estimateurs. Comme preuve de concept, nous étudions de nombreux algorithmes pour l'estimateur LASSO classique. Un sous-produit des algorithmes MOM est une mesure de la profondeur des données qui peut être utilisée pour détecter les valeurs aberrantes.

Nous obtenons des limites de risque pour les estimateurs Empirical Risk Minimizers (ERM) et Median-Of-Means (MOM) minmax basés sur des fonctions de perte qui sont à la fois Lipschitz et convexes. Les résultats pour l'ERM sont dérivés sans hypothèses sur les sorties et sous des hypothèses subgaussiennes sur le plan et une nouvelle "hypothèse locale de Bernstein" sur la classe de prédicteurs. Des résultats similaires sont montrés pour les estimateurs MOM minmax dans un cadre proche où le plan est seulement supposé satisfaire les hypothèses de moment, relaxant l'hypothèse subgaussienne nécessaire pour l'ERM. L'analyse des estimateurs MOM minmax n'est pas basée sur l'hypothèse de la petite boule (SBA) comme c'était le cas dans la première analyse des estimateurs MOM minmax. En particulier, l'exemple de base des statistiques non paramétriques où la classe d'apprentissage est l'étendue linéaire des bases localisées, qui ne satisfait pas l'hypothèse de la petite boule, peut maintenant être traité. Enfin, les estimateurs MOM minmax sont analysés dans un cadre où la condition locale de Bernstein est également abandonnée. On montre qu'il est possible d'obtenir une inégalité d'oracle avec une probabilité exponentiellement grande sous des hypothèses minimales assurant l'existence de tous les objets.

Cette thèse aborde le sujet de la régression linéaire dans différents cadres, liés notamment à l’apprentissage. Les deux premiers chapitres présentent le contexte des travaux, leurs apports et les outils mathématiques utilisés. Le troisième chapitre est consacré à la construction d’une fonction de régularisation optimale, permettant par exemple d’améliorer sur le plan théorique la régularisation de l’estimateur LASSO. Le quatrième chapitre présente, dans le domaine de l’optimisation convexe séquentielle, des accélérations d’un algorithme récent et prometteur, MetaGrad, et une conversion d’un cadre dit “séquentiel déterministe" vers un cadre dit “batch stochastique" pour cet algorithme. Le cinquième chapitre s’intéresse à des prévisions successives par intervalles, fondées sur l’agrégation de prédicteurs, sans retour d’expérience intermédiaire ni modélisation stochastique. Enfin, le sixième chapitre applique à un jeu de données pétrolières plusieurs méthodes d’agrégation, aboutissant à des prévisions ponctuelles court-terme et des intervalles de prévision long-terme.

Pas de résumé disponible.

Nous présentons une extension du classique minimiseur de risque empirique (ERM) de Vapnik où le risque empirique est remplacé par un estimateur de la médiane des moyennes (MOM), les nouveaux estimateurs sont appelés minimiseurs MOM. Alors que l'ERM est sensible à la corruption de l'ensemble de données pour de nombreuses fonctions de perte classiques utilisées dans la classification, nous montrons que les minimiseurs MOM se comportent bien en théorie, en ce sens qu'ils atteignent les taux de convergence (lents) de Vapnik sous de faibles hypothèses : les données doivent seulement avoir un second moment fini et certaines valeurs aberrantes peuvent également avoir corrompu l'ensemble de données. Nous proposons un algorithme inspiré des minimiseurs MOM. Ces algorithmes peuvent être analysés à l'aide d'arguments assez similaires à ceux utilisés pour la descente de gradient en bloc stochastique. Comme preuve de concept, nous montrons comment modifier une preuve de cohérence pour un algorithme de descente afin de prouver la cohérence de sa version MOM. Comme les algorithmes MOM effectuent un sous-échantillonnage intelligent, notre procédure peut également aider à réduire considérablement le temps de calcul et les ressources mémoire lorsqu'elle est appliquée à des algorithmes non linéaires. Ces performances empiriques sont illustrées sur des jeux de données simulés et réels.

Nous obtenons des taux d'erreur d'estimation pour les estimateurs obtenus par agrégation de tests de médiane des moyennes reg-ularisés, suivant une construction de Le Cam. Les résultats sont valables avec une probabilité exponentiellement grande, avec seulement des hypothèses de moments faibles sur les données. Toute norme peut être utilisée pour la régularisation. Lorsqu'elle a un certain pouvoir d'induction de sparsité, nous récupérons des taux de convergence sparses. La procédure est robuste puisqu'une grande partie des données peuvent être corrompues, ces valeurs aberrantes n'ont rien à voir avec l'oracle que nous voulons reconstruire. Notre limite de risque générale est de l'ordre de max minimax taux dans la configuration i.i.d., nombre d'outliers nombre d'observations. En particulier, le nombre de données aberrantes peut être aussi grand que (nombre de données) × (taux minimax) sans affecter ce taux. Il n'est pas nécessaire que les autres données soient distribuées de manière identique, mais elles doivent seulement avoir des moments L 1 et L 2 équivalents. Par exemple, le taux minimax s log(ed/s)/N de récupération d'un vecteur s-sparse dans R d est atteint avec une probabilité exponentiellement grande par une version médiane des moyennes de LASSO lorsque le bruit a q 0 moments pour un certain q 0 > 2, les entrées de la matrice de conception doivent avoir C 0 log(ed) moments et l'ensemble de données peut être corrompu jusqu'à C 1 s log(ed/s) valeurs aberrantes.

Pas de résumé disponible.

Cette thèse s'inscrit dans le cadre de l'estimation d'une densité, considéré du point de vue non-paramétrique et non-asymptotique. Elle traite du problème de la sélection d'une méthode d'estimation à noyau. Celui-ci est une généralisation, entre autre, du problème de la sélection de modèle et de la sélection d'une fenêtre. Nous étudions des procédures classiques, par pénalisation et par rééchantillonnage (en particulier la validation croisée V-fold), qui évaluent la qualité d'une méthode en estimant son risque. Nous proposons, grâce à des inégalités de concentration, une méthode pour calibrer la pénalité de façon optimale pour sélectionner un estimateur linéaire et prouvons des inégalités d'oracle et des propriétés d'adaptation pour ces procédures. De plus, une nouvelle procédure rééchantillonnée, reposant sur la comparaison entre estimateurs par des tests robustes, est proposée comme alternative aux procédures basées sur le principe d'estimation sans biais du risque. Un second objectif est la comparaison de toutes ces procédures du point de vue théorique et l'analyse du rôle du paramètre V pour les pénalités V-fold. Nous validons les résultats théoriques par des études de simulations.

Pas de résumé disponible.

Pas de résumé disponible.

Pas de résumé disponible.

Nous donnons des estimations sur la constante de Sobolev logarithmique de certains graphes lamplighter finis en termes d'écart spectral de la base sous-jacente. Nous donnons également des exemples d'application.

Dans ce document, je présente les travaux que j'ai entrepris depuis la fin de mon Ph.D. J'ai commencé mon Ph.

Pas de résumé disponible.

Dans cette thèse, nous traitons des procédures d'agrégation sous l'hypothèse de marge. Nous prouvons que l'hypothèse de marge améliore le taux d'agrégation. Une autre contribution de cette thèse est de montrer que certaines procédures de minimisation du risque empirique sont sous-optimales lorsque la fonction de perte est convexe, même sous l'hypothèse de marge. Contrairement à certaines procédures d'agrégation avec des poids exponentiels, ces méthodes de sélection de modèles ne peuvent pas bénéficier d'une marge importante. Ensuite, nous appliquons les méthodes d'agrégation pour construire des estimateurs adaptatifs dans plusieurs problèmes différents. La dernière contribution de cette thèse est de proposer une nouvelle approche pour le contrôle du terme de biais dans la classification en introduisant des espaces de règles de prédiction éparses. Des taux de convergence minimaux ont été obtenus pour ces classes de fonctions et, en utilisant une méthode d'agrégation, nous fournissons une version adaptative de ces estimateurs.