Apprentissage d'ensemble basé sur les points de repère avec des caractéristiques aléatoires de Fourier et l'optimisation du gradient.

Résumé Cet article exploite conjointement deux stratégies d'apprentissage de pointe, le gradient boosting (GB) et le noyau Random Fourier Features (RFF), pour aborder le problème de l'apprentissage du noyau. Notre étude s'appuie sur un résultat récent montrant que l'on peut apprendre une distribution sur les RFF pour produire un nouveau noyau adapté à la tâche à accomplir. Pour apprendre cette distribution, nous exploitons un schéma GB exprimé comme des ensembles d'apprenants faibles RFF, chacun d'entre eux étant une fonction noyau conçue pour s'adapter au résidu. Contrairement aux techniques d'apprentissage à noyaux multiples qui utilisent un dictionnaire pré-calculé de fonctions noyaux à sélectionner, à chaque itération nous ajustons un noyau en l'approximant à partir des données d'apprentissage comme une somme pondérée de RFF. Cette stratégie permet de construire un classificateur basé sur un petit ensemble de "repères" de noyaux appris, mieux adaptés à l'application sous-jacente. Nous effectuons une analyse expérimentale approfondie pour mettre en évidence les avantages de notre méthode par rapport aux méthodes de pointe basées sur le boosting et l'apprentissage par noyau.