Apprentissage robuste à haute dimension pour les pertes Lipschitz et convexes.

Résumé Nous établissons des limites de risque pour les minimiseurs de risque empiriques régularisés (RERM) lorsque la perte est Lipschitz et convexe et que la fonction de régularisation est une norme. Dans une première partie, nous obtenons ces résultats dans le cadre i.i.d. sous des hypothèses subgaussiennes sur le plan de sondage. Dans une deuxième partie, nous considérons un cadre plus général où le plan peut avoir des queues plus lourdes et où les données peuvent être corrompues par des valeurs aberrantes à la fois dans le plan et dans les variables de réponse. Dans cette situation, RERM est généralement peu performant. Nous analysons une procédure alternative basée sur les principes de la médiane des moyennes et appelée "minmax MOM". Nous montrons des taux de déviation subgaussiens optimaux pour ces estimateurs dans le cadre relaxé. Les principaux résultats sont des méta-théorèmes permettant un large éventail d'applications à divers problèmes de la théorie de l'apprentissage. Pour montrer un échantillon non exhaustif de ces applications potentielles, on l'applique à des problèmes de classification avec des fonctions de perte logistique régularisées par LASSO et SLOPE, à des problèmes de régression avec perte de Huber régularisée par LASSO de groupe, variation totale et LASSO fusionné. Un autre avantage de la formulation minmax MOM est qu'elle suggère une manière systématique de modifier légèrement les algorithmes basés sur la descente utilisés dans les statistiques à haute dimension pour les rendre robustes aux valeurs aberrantes. Nous illustrons ce principe dans une section de simulations où une version "minmax MOM" des algorithmes classiques de descente proximale est transformée en algorithmes robustes aux valeurs aberrantes.