Approches statistiques de la théorie de l'apprentissage : boosting et classement.

Résumé La théorie de l'apprentissage statistique a connu une croissance rapide au cours des dix dernières années. L'introduction d'algorithmes de classification efficaces, tels que le boosting et les machines à vecteurs de support, traitant des données à haute dimension, a généré de nouvelles questions auxquelles la théorie de Vapnik-Chervonenkis (VC) ne pouvait répondre. Le principe de minimisation du risque empirique ne tient pas compte des algorithmes d'apprentissage pratiques et la dimension VC n'est pas le concept approprié pour expliquer la capacité de généralisation de ces méthodes. Dans le premier chapitre, nous rappelons les interprétations des algorithmes de boosting comme des implémentations des principes de minimisation du risque convexe et nous étudions leurs propriétés sous ce point de vue. En particulier, nous montrons l'importance de la régularisation afin d'obtenir des stratégies cohérentes. Nous développons également une nouvelle classe d'algorithmes appelée "Mirror Averaging Algorithm" et nous évaluons leurs performances par des expériences de simulation. Après avoir présenté les idées fondamentales qui sous-tendent le boosting, nous étudions, dans le deuxième chapitre, des questions plus avancées telles que les inégalités d'oracle. Ainsi, nous proposons une calibration fine de la fonction de pénalité en fonction de la fonction de coût utilisée et nous présentons des résultats non asymptotiques sur la performance des estimateurs de boosting pénalisés, avec des raffinements tels que des taux de convergence rapides sous les conditions de marge de Mammen-Tsybakov. Nous décrivons également les propriétés d'approximation du boosting en utilisant des souches de décision. Le troisième chapitre explore le problème du classement. Dans des applications telles que la recherche d'information ou l'évaluation du crédit, le classement des instances peut être beaucoup plus important que leur simple classification. Nous proposons une formulation simple de ce problème dans laquelle le classement est équivalent à la classification avec des paires d'observations. La différence réside dans la nature des risques empiriques qui prennent la forme de statistiques U et nous développons la théorie de la classification afin de l'adapter à ce cadre. Nous étudions également les possibilités de généraliser l'erreur de classement afin d'inclure des prieurs sur le classement que nous visons, par exemple, lorsque nous voulons nous concentrer uniquement sur les "meilleures" instances.