Dichotomiser et généraliser : Réseaux neuronaux profonds activés binaires PAC-Bayes.

Résumé Nous présentons une étude complète des réseaux de neurones multicouches avec activation binaire, en nous appuyant sur la théorie PAC-Bayes. Nos contributions sont de deux ordres : (i) nous développons un cadre de bout en bout pour former un réseau de neurones profonds à activation binaire, en surmontant le fait que la fonction d'activation binaire est non-différentiable. (ii) Nous fournissons des limites de généralisation PAC-Bayes non-vacues pour les réseaux neuronaux profonds activés binaires. Il convient de noter que nos résultats sont obtenus en minimisant la perte attendue d'une agrégation de réseaux neuronaux profonds activés binaires qui dépend de l'architecture. La performance de notre approche est évaluée sur un protocole d'expérimentation numérique approfondi sur des ensembles de données réelles.