Une version discrète de CMA-ES.

Résumé L'apprentissage automatique moderne utilise des techniques d'optimisation de plus en plus avancées pour trouver les hyper paramètres optimaux. Lorsque la fonction objectif n'est pas convexe, qu'elle n'est pas continue et qu'elle comporte potentiellement plusieurs minima locaux, les méthodes d'optimisation standard par descente de gradient échouent. Une méthode de dernière ressource et très différente consiste à supposer que le ou les optima, pas nécessairement uniques, sont répartis selon une distribution et à adapter itérativement la distribution en fonction des points testés. Ces stratégies nées au début des années 1960, nommées Stratégie d'évolution (ES) ont culminé avec la CMA-ES (Covariance Matrix Adaptation) ES. Elle s'appuie sur une distribution normale multi variée et est censée être l'état de l'art pour les programmes d'optimisation générale. Cependant, elle est loin d'être optimale pour les variables discrètes. Dans cet article, nous étendons la méthode aux distributions binomiales multivariées corrélées. Pour une telle distribution, nous montrons qu'elle partage des caractéristiques similaires à la normale multivariée : l'indépendance et la corrélation sont équivalentes et la corrélation est efficacement modélisée par l'interaction entre différentes variables. Nous discutons cette distribution dans le cadre de la famille exponentielle. Nous prouvons que le modèle peut estimer non seulement les interactions par paire entre les deux variables, mais qu'il est également capable de modéliser les interactions d'ordre supérieur. Cela permet de créer une version du CMA ES qui peut accueillir efficacement des variables discrètes. Nous fournissons l'algorithme correspondant et concluons.