Cohérence du modèle des régularisateurs partiellement lisses.

Résumé Cet article étudie la régression des moindres carrés pénalisée par des régularisateurs convexes partiellement lisses. Cette classe de fonctions de pénalité est très large et versatile, et permet de promouvoir des solutions conformes à une certaine notion de faible complexité. En effet, de telles pénalités/régularisateurs forcent les solutions correspondantes à appartenir à un collecteur de faible dimension (le "modèle") qui reste stable lorsque la fonction de pénalité subit de petites perturbations. Une telle propriété de sensibilité est cruciale pour rendre le modèle (manifold) sous-jacent de faible complexité robuste au petit bruit. Dans un cadre déterministe, nous montrons qu'une "condition irreprésentable" généralisée implique une sélection de modèle stable sous de petites perturbations de bruit dans les observations et la matrice de conception, lorsque le paramètre de régularisation est accordé proportionnellement au niveau de bruit. Nous prouvons également que cette condition est presque nécessaire pour la récupération stable du modèle.nous nous tournons ensuite vers le cadre aléatoire où la matrice de conception et le bruit sont aléatoires, et le nombre d'observations augmente. Nous montrons que sous notre "condition irreprésentable" généralisée, et une mise à l'échelle appropriée du paramètre de régularisation, l'estimateur régularisé est cohérent avec le modèle. En d'autres termes, avec une probabilité tendant vers un lorsque le nombre de mesures tend vers l'infini, l'estimateur régularisé appartient au bon collecteur de modèle de basse dimension.Ce travail unifie et généralise un grand nombre de publications, où la cohérence du modèle était connue pour être valable, par exemple pour les régularisateurs Lasso, Lasso de groupe, variation totale (Lasso fusionné) et norme nucléaire/trace.Nous montrons que sous les conditions déterministes de sélection du modèle, l'algorithme de séparation proximale avant-arrière utilisé pour résoudre le problème de régression des moindres carrés pénalisés, est garanti d'identifier le collecteur du modèle après un nombre fini d'itérations. Enfin, nous détaillons comment nos résultats s'étendent de la perte quadratique à une fonction de perte arbitraire lisse et strictement convexe. Nous illustrons l'utilité de nos résultats sur le problème de la récupération de matrices de bas rang à partir de mesures aléatoires en utilisant la minimisation de la norme nucléaire.