Dichotomiser et généraliser : Réseaux neuronaux profonds activés binaires PAC-Bayes.

Résumé Nous présentons une étude complète des réseaux neuronaux multicouches à activation binaire, en nous appuyant sur la théorie PAC-Bayes. Nos contributions sont de deux ordres : (i) nous développons un cadre de bout en bout pour former un réseau neuronal profond à activation binaire, (ii) nous fournissons des limites de généralisation PAC-Bayesiennes non-vacues pour les réseaux neuronaux profonds à activation binaire. Nos résultats sont obtenus en minimisant la perte attendue d'une agrégation dépendante de l'architecture des réseaux neuronaux profonds activés binaires. Notre analyse surmonte intrinsèquement le fait que la fonction d'activation binaire est non-différentiable.