Au-delà des moindres carrés : Taux rapides pour la minimisation empirique régularisée du risque par autoconcordance.

Résumé Nous considérons des méthodes d'apprentissage basées sur la régularisation d'un risque empirique convexe par une norme hilbertienne carrée, un cadre qui inclut des prédicteurs linéaires et des prédicteurs non linéaires par des noyaux positifs-définis. Afin d'aller au-delà de l'analyse générique conduisant à des taux de convergence de l'excès de risque de $O(1/\sqrt{n})$ à partir de $n$ observations, nous supposons que les pertes individuelles sont autoconcordantes, c'est-à-dire que leurs dérivées de troisième ordre sont limitées par leurs dérivées de deuxième ordre. Ce cadre inclut les moindres carrés, ainsi que tous les modèles linéaires généralisés tels que la régression logistique et softmax. Pour cette classe de pertes, nous fournissons une décomposition biais-variance et montrons que les hypothèses communément faites dans la régression des moindres carrés, telles que les conditions de source et de capacité, peuvent être adaptées pour obtenir des taux de convergence rapides non asymptotiques en améliorant les termes de biais, les termes de variance ou les deux.