Interpréter les réseaux neuronaux comme des votes majoritaires grâce à la théorie PAC-Bayes.

Résumé Nous proposons une étude théorique PAC-Bayesienne de la procédure d'apprentissage en deux phases d'un réseau de neurones introduite par Kawaguchi et al. (2017). Dans cette procédure, un réseau est exprimé comme une combinaison pondérée de tous les chemins du réseau (de la couche d'entrée à celle de sortie), que nous reformulons comme un vote majoritaire PAC-Bayesien. A partir de cette observation, leur procédure d'apprentissage consiste à (1) apprendre un réseau "antérieur" en fixant certains paramètres, puis (2) apprendre un réseau "postérieur" en ne permettant qu'une modification des poids sur les chemins du réseau antérieur. Cela nous permet de dériver une limite de généralisation PAC-Bayesienne qui implique les risques empiriques individuels des chemins (connus sous le nom de risque de Gibbs) et la diversité empirique entre les paires de chemins. Notez que, de manière similaire aux limites PAC-Bayes classiques, notre résultat implique un terme de divergence KL entre un réseau "antérieur" et le réseau "postérieur". Nous montrons que ce terme est calculable par programmation dynamique sans supposer une quelconque distribution sur les poids des réseaux.