Binarsity : une pénalisation pour les caractéristiques codées à un coup.

Résumé Cet article traite du problème de l'apprentissage supervisé linéaire à grande échelle dans des contextes où un grand nombre de caractéristiques continues sont disponibles. Nous proposons de combiner l'astuce bien connue du codage à un coup des caractéristiques continues avec une nouvelle pénalisation appelée binarsité. Dans chaque groupe de caractéristiques binaires provenant de l'encodage à un coup d'une seule caractéristique continue brute, cette pénalisation utilise la régularisation de la variation totale ainsi qu'une contrainte linéaire supplémentaire pour éviter la colinéarité au sein des groupes. Des inégalités d'oracle non asymptotiques pour les modèles linéaires généralisés sont proposées, et des expériences numériques illustrent les bonnes performances de notre approche sur plusieurs ensembles de données. Il est également à noter que notre méthode a une complexité numérique comparable à la pénalisation L1 standard.