Apprentissage avec SGD et caractéristiques aléatoires.

Résumé Les méthodes d'esquisse et de gradient stochastique sont sans doute les techniques les plus courantes pour dériver des algorithmes d'apprentissage efficaces à grande échelle. Dans cet article, nous étudions leur application dans le contexte de l'apprentissage statistique non paramétrique. Plus précisément, nous étudions l'estimateur défini par le gradient stochastique avec des mini-lots et des caractéristiques aléatoires. Ce dernier peut être vu comme une forme d'esquisse non linéaire et utilisé pour définir des méthodes approximatives à noyau. L'estimateur considéré n'est pas explicitement pénalisé/contraint et la régularisation est implicite. En effet, notre étude met en évidence comment différents paramètres, tels que le nombre de caractéristiques, d'itérations, de pas et de mini-lots, contrôlent les propriétés d'apprentissage des solutions. Nous faisons cela en dérivant des limites optimales d'échantillons finis, sous des hypothèses standard. Les résultats obtenus sont corroborés et illustrés par des expériences numériques.