L'efficacité déraisonnable des patches dans les méthodes de noyaux convolutifs profonds.

Résumé Un travail récent a montré que diverses formes de méthodes à noyau convolutif peuvent être compétitives avec les réseaux convolutifs profonds supervisés standard sur des jeux de données tels que CIFAR-10, en obtenant des précisions de l'ordre de 87 à 90 % tout en se prêtant mieux à une analyse théorique. Dans ce travail, nous soulignons l'importance d'une étape d'extraction de caractéristiques dépendant des données qui est essentielle pour obtenir de bonnes performances dans les méthodes de noyaux convolutifs. Cette étape correspond généralement à un dictionnaire blanchi de patches, et donne lieu à des méthodes à noyau convolutif dépendant des données. Nous étudions en profondeur son effet, en démontrant qu'elle est l'ingrédient clé pour une haute performance de ces méthodes. Plus précisément, nous montrons que l'une des instances les plus simples de ces méthodes à noyau, basée sur une seule couche de patchs d'image suivie d'un classificateur linéaire, obtient déjà des précisions de classification sur CIFAR-10 du même ordre que les méthodes à noyau convolutif plus sophistiquées précédentes. Nous appliquons cette méthode à la difficile base de données ImageNet, montrant qu'une approche aussi simple peut dépasser toutes les méthodes de représentation non apprises existantes. Il s'agit d'une nouvelle base de référence pour la reconnaissance d'objets sans méthodes d'apprentissage de représentation, qui lance l'étude des modèles à noyau convolutif sur ImageNet. Nous menons des expériences pour analyser le dictionnaire que nous avons utilisé, nos ablations montrant qu'elles présentent des propriétés de faible dimension.