Apprentissage robuste à haute dimension pour les pertes Lipschitz et convexes.

Résumé Nous établissons des limites de risque pour les minimiseurs de risque empiriques régularisés (RERM) lorsque la perte est Lipschitz et convexe et que la fonction de régularisation est une norme. Nous obtenons ces résultats dans la configuration i.i.d. sous des hypothèses subgaussiennes sur le plan. Dans une deuxième partie, nous considérons un cadre plus général où le plan peut avoir des queues plus lourdes et où les données peuvent être corrompues par des valeurs aberrantes à la fois dans le plan et dans les variables de réponse. Dans cette situation, RERM est généralement peu performant. Nous analysons une procédure alternative basée sur les principes de la médiane des moyennes et appelée "minmax MOM". Nous montrons des taux de déviation subgaussiens optimaux pour ces estimateurs dans le cadre relaxé. Les principaux résultats sont des méta-théorèmes permettant un large éventail d'applications à divers problèmes de la théorie de l'apprentissage. Pour montrer un échantillon non exhaustif de ces applications potentielles, ils sont appliqués à des problèmes de classification avec des fonctions de perte logistique régularisées par LASSO et SLOPE, à des problèmes de régression avec une perte de Huber régularisée par LASSO de groupe, LASSO de variation totale et LASSO fusionné et à des problèmes de complétion de matrice avec une perte de quantile régularisée par la norme nucléaire. Une courte étude de simulation conclut l'article, illustrant en particulier les propriétés de robustesse des procédures MOM minmax régularisées.