Approximation stochastique non paramétrique avec de grands pas.

Résumé Nous considérons le problème de la régression des moindres carrés à conception aléatoire dans le cadre de l'espace de Hilbert à noyau reproducteur (RKHS). Étant donné un flux de données d'entrée/sortie indépendantes et identiquement distribuées, nous cherchons à apprendre une fonction de régression dans un RKHS $\mathcal{H}$, même si le prédicteur optimal (c'est-à-dire l'espérance conditionnelle) n'est pas dans $\mathcal{H}$. Dans un cadre d'approximation stochastique où l'estimateur est mis à jour après chaque observation, nous montrons que l'algorithme des moindres carrés moyens non régularisés (une forme de gradient stochastique), compte tenu d'une taille de pas suffisamment grande, atteint des taux de convergence optimaux pour une variété de régimes pour les lissages de la fonction de prédiction optimale et des fonctions dans $\mathcal{H}$.