Quelques aspects mathématiques de l'auto-organisation neuronale et des perceptrons multicouches.

Résumé Cette these est consacree a l'etude mathematique de deux types de reseaux de neurones et se compose de deux parties distinctes. La premiere partie est centree sur le perceptron multicouche, et plus particulierement sur les problemes de convexite de la fonction d'erreur. Nous montrons que des conditions assez faibles suffisent a assurer cette convexite pour tous les perceptrons sans couche cachee, tandis que la convexite devient impossible pour les perceptrons a une couche cachee et plus, meme en tenant compte du groupe des transformations geometriques qui laissent l'erreur invariante. Nous proposons ensuite un nouvel algorithme d'apprentissage utilisant les informations obtenues et que nous avons teste sur le probleme classique de la reconnaissance de caracteres imprimes. La seconde partie repose sur les travaux de r. Linsker sur la vision. Ce chercheur a propose, a partir de 1986, un modele assez simple (base sur une regle d'apprentissage de type hebbien) qui permet d'expliquer l'emergence de cellules selectives a l'orientation dans le cadre de la vision prenatale. Nous proposons une etude mathematique de ce modele. l'operateur qui definit l'evolution dans le temps des connexions corticales depend de deux parametres reels et est diagonalisable dans une base orthonormee de fonctions propres. Nous montrons que, selon la valeur de ces parametres, ces fonctions propres sont, a renormalisation pres, soit les fonctions de hermite a deux variables, soit des sommes de ces fonctions de hermite. Afin de determiner le comportement asymptotique de la fonction poids synaptique, nous etudions ensuite la position relative des valeurs propres en fonction des parametres. Ceci nous permet, pour finir, de degager des conditions explicites afin de forcer tel ou tel mode (symetrique ou non) a devenir preponderant au cours du temps.