GERMAIN Pascal

Cet article exploite conjointement deux stratégies d'apprentissage de pointe, le gradient boosting (GB) et le noyau Random Fourier Features (RFF), pour aborder le problème de l'apprentissage du noyau. Notre étude s'appuie sur un résultat récent montrant que l'on peut apprendre une distribution sur les RFF pour produire un nouveau noyau adapté à la tâche à accomplir. Pour apprendre cette distribution, nous exploitons un schéma GB exprimé comme des ensembles d'apprenants faibles RFF, chacun d'entre eux étant une fonction noyau conçue pour s'adapter au résidu. Contrairement aux techniques d'apprentissage à noyaux multiples qui utilisent un dictionnaire pré-calculé de fonctions noyaux à sélectionner, à chaque itération nous ajustons un noyau en l'approximant à partir des données d'apprentissage comme une somme pondérée de RFF. Cette stratégie permet de construire un classificateur basé sur un petit ensemble de "repères" de noyaux appris, mieux adaptés à l'application sous-jacente. Nous effectuons une analyse expérimentale approfondie pour mettre en évidence les avantages de notre méthode par rapport aux méthodes de pointe basées sur le boosting et l'apprentissage par noyau.

Nous fournissons deux contributions principales dans la théorie PAC-Bayesienne pour l'adaptation de domaine où l'objectif est d'apprendre, à partir d'une distribution source, un vote majoritaire performant sur une distribution cible différente, mais connexe. Premièrement, nous proposons une amélioration de l'approche précédente que nous avons proposée dans Germain et al. (2013), qui s'appuie sur une nouvelle pseudodistance de distribution basée sur une moyenne de désaccord, ce qui nous permet de dériver une nouvelle limite d'adaptation au domaine plus stricte pour le risque cible. Bien que cette limite soit dans l'esprit des travaux courants sur l'adaptation au domaine, nous dérivons une deuxième limite (introduite dans Germain et al., 2016) qui apporte une nouvelle perspective sur l'adaptation au domaine en dérivant une limite supérieure sur le risque cible où la divergence des distributions - exprimée comme un ratio - contrôle le compromis entre une mesure d'erreur de la source et le désaccord des électeurs cibles. Nous discutons et comparons les deux résultats, à partir desquels nous obtenons des limites de généralisation PAC-Bayes. En outre, à partir de la spécialisation PAC-Bayes aux classificateurs linéaires, nous déduisons deux algorithmes d'apprentissage et nous les évaluons sur des données réelles.

Dans cet article, nous améliorons la limite d'erreur PAC-Bayes pour la régression linéaire dérivée dans Germain et al [10]. Les améliorations sont de deux ordres. Premièrement, la limite d'erreur proposée est plus stricte et converge vers la perte de généralisation avec un paramètre de température bien choisi. Deuxièmement, la limite d'erreur est également valable pour les données d'apprentissage qui ne sont pas échantillonnées de manière indépendante. En particulier, la limite d'erreur s'applique à certaines séries chronologiques générées par des classes bien connues de modèles dynamiques, tels que les modèles ARX.

Nous présentons une étude complète des réseaux neuronaux multicouches à activation binaire, en nous appuyant sur la théorie PAC-Bayes. Nos contributions sont de deux ordres : (i) nous développons un cadre de bout en bout pour former un réseau neuronal profond à activation binaire, (ii) nous fournissons des limites de généralisation PAC-Bayesiennes non-vacues pour les réseaux neuronaux profonds à activation binaire. Nos résultats sont obtenus en minimisant la perte attendue d'une agrégation dépendante de l'architecture des réseaux neuronaux profonds activés binaires. Notre analyse surmonte intrinsèquement le fait que la fonction d'activation binaire est non-différentiable.

Pas de résumé disponible.

Nous proposons une étude théorique PAC-Bayesienne de la procédure d'apprentissage en deux phases d'un réseau de neurones introduite par Kawaguchi et al. (2017). Dans cette procédure, un réseau est exprimé comme une combinaison pondérée de tous les chemins du réseau (de la couche d'entrée à celle de sortie), que nous reformulons comme un vote majoritaire PAC-Bayesien. A partir de cette observation, leur procédure d'apprentissage consiste à (1) apprendre un réseau "antérieur" en fixant certains paramètres, puis (2) apprendre un réseau "postérieur" en ne permettant qu'une modification des poids sur les chemins du réseau antérieur. Cela nous permet de dériver une limite de généralisation PAC-Bayesienne qui implique les risques empiriques individuels des chemins (connus sous le nom de risque de Gibbs) et la diversité empirique entre les paires de chemins. Notez que, de manière similaire aux limites PAC-Bayes classiques, notre résultat implique un terme de divergence KL entre un réseau "antérieur" et le réseau "postérieur". Nous montrons que ce terme est calculable par programmation dynamique sans supposer une quelconque distribution sur les poids des réseaux.

L'apprentissage contrastif non supervisé de représentations (CURL) est la technique de pointe pour apprendre des représentations (comme un ensemble de caractéristiques) à partir de données non étiquetées. Alors que CURL a recueilli plusieurs succès empiriques récemment, la compréhension théorique de ses performances manquait encore. Dans un travail récent, Arora et al. (2019) fournissent les premières bornes de généralisation pour CURL, en s'appuyant sur une complexité de Rademacher. Nous étendons leur cadre au cadre PAC-Bayes flexible, permettant de traiter le cadre non-iid. Nous présentons des limites de généralisation PAC-Bayes pour CURL, qui sont ensuite utilisées pour dériver un nouvel algorithme d'apprentissage de représentation. Des expériences numériques sur des ensembles de données réelles illustrent que notre algorithme atteint une précision compétitive et donne des limites de généralisation avec des valeurs non-vacues.

Nous présentons une étude complète des réseaux de neurones multicouches avec activation binaire, en nous appuyant sur la théorie PAC-Bayes. Nos contributions sont de deux ordres : (i) nous développons un cadre de bout en bout pour former un réseau de neurones profonds à activation binaire, en surmontant le fait que la fonction d'activation binaire est non-différentiable. (ii) Nous fournissons des limites de généralisation PAC-Bayes non-vacues pour les réseaux neuronaux profonds activés binaires. Il convient de noter que nos résultats sont obtenus en minimisant la perte attendue d'une agrégation de réseaux neuronaux profonds activés binaires qui dépend de l'architecture. La performance de notre approche est évaluée sur un protocole d'expérimentation numérique approfondi sur des ensembles de données réelles.

Dans cet article, nous proposons un algorithme d'apprentissage multivues basé sur le boosting, appelé PB-MVBoost, qui apprend de manière itérative i) les poids sur les votants spécifiques aux vues capturant des informations spécifiques aux vues et ii) les poids sur les vues en optimisant une limite C multivues PAC-Bayes qui prend en compte la précision des classificateurs spécifiques aux vues et la diversité entre les vues. Nous dérivons une limite de généralisation pour cette stratégie en suivant la théorie PAC-Bayes qui est un outil approprié pour traiter les modèles exprimés comme une combinaison pondérée sur un ensemble de votants. Différentes expériences sur trois ensembles de données disponibles publiquement montrent l'efficacité de l'approche proposée par rapport aux modèles de l'état de l'art.

Pas de résumé disponible.

Nous revisitons la méthode des caractéristiques de Fourier aléatoires (RFF) à noyau de Rahimi et Recht (2007) à travers le prisme de la théorie PAC-Bayes. Alors que le but premier de RFF est d'approximer un noyau, nous considérons la transformée de Fourier comme une distribution a priori sur des hypothèses trigonométriques. Cela suggère naturellement d'apprendre un postérieur sur ces hypothèses. Nous dérivons des bornes de généralisation qui sont optimisées par l'apprentissage d'une pseudo-postérieure obtenue à partir d'une expression à forme fermée. Sur la base de cette étude, nous considérons deux stratégies d'apprentissage : La première trouve une représentation compacte des données basée sur les points de repère où chaque point de repère est donné par une mesure de similarité adaptée à la distribution, tandis que la seconde fournit une justification PAC-Bayesienne à la méthode d'alignement par noyau de Sinha et Duchi (2016).

Cet article résume et étend notre travail récent publié à AISTATS 2019, dans lequel nous avons revisité la méthode des Random Fourier Features (RFF) de Rahimi et al. (2007) par le biais de la théorie PAC-Bayésienne. Bien que l'objectif principal des RFF soit d'approximer une fonction noyau, nous considérons ici la transformée de Fourier comme une distribution \emph{a priori} sur un ensemble d'hypothèses trigonométriques. Cela suggère naturellement d'apprendre une distribution a posteriori sur cet ensemble d'hypothèses. Nous dérivons des bornes en généralisations qui sont optimisées en apprenant une distribution pseudo-posterior obtenue à partir d'une expression en forme close. À partir de cette études, nous proposons deux stratégies d'apprentissage basées sur des points d'intérêts : (i) la procédure en deux étapes proposée dans notre article précédent, où une représentation compacte des données est apprise, puis est utilisée pour apprendre un modèle linéaire, (ii) une nouvelle procédure, où l'on apprend en un seul temps la représentation et le modèle suivant une approche de type Boosting.

Nous proposons un algorithme de boosting de gradient pour l'apprentissage d'un ensemble de fonctions à noyau adaptées à la tâche à accomplir. Contrairement aux techniques d'apprentissage à noyaux multiples qui utilisent un dictionnaire pré-calculé de fonctions à noyaux à sélectionner, à chaque itération nous ajustons un noyau en l'approximant comme une somme pondérée de fonctions de Fourier aléatoires (RFF) et en optimisant leur barycentre. Cela nous permet d'obtenir une méthode plus polyvalente, plus facile à mettre en place et susceptible d'avoir de meilleures performances. Notre étude s'appuie sur un résultat récent montrant que l'on peut apprendre un noyau à partir de RFF en calculant le minimum d'une limite PAC-Bayes sur la perte de généralisation de l'alignement du noyau, qui est obtenue efficacement à partir d'une solution à forme fermée. Nous effectuons une analyse expérimentale pour mettre en évidence les avantages de notre méthode par rapport aux méthodes de pointe basées sur le boosting et l'apprentissage de noyaux.

Nous fournissons deux contributions principales dans la théorie PAC-Bayesienne pour l'adaptation de domaine où l'objectif est d'apprendre, à partir d'une distribution source, un vote majoritaire performant sur une distribution cible différente, mais connexe. Premièrement, nous proposons une amélioration de l'approche précédente que nous avons proposée dans Germain et al. (2013), qui s'appuie sur une nouvelle pseudodistance de distribution basée sur une moyenne de désaccord, ce qui nous permet de dériver une nouvelle limite d'adaptation au domaine plus stricte pour le risque cible. Bien que cette limite soit dans l'esprit des travaux courants sur l'adaptation au domaine, nous dérivons une deuxième limite (récemment introduite dans Germain et al., 2016) qui apporte une nouvelle perspective sur l'adaptation au domaine en dérivant une limite supérieure sur le risque cible où la divergence des distributions - exprimée comme un ratio - contrôle le compromis entre une mesure d'erreur de la source et le désaccord des électeurs cibles. Nous discutons et comparons les deux résultats, à partir desquels nous obtenons des limites de généralisation PAC-Bayes. En outre, à partir de la spécialisation PAC-Bayes aux classificateurs linéaires, nous déduisons deux algorithmes d'apprentissage et nous les évaluons sur des données réelles.

Nous proposons un théorème PAC-Bayésien s'exprimant comme une borne en espérance alors que les bornes PAC-Bayésiennes classiques sont des bornes probabilistes. Notre résultat principal est donc comme une borne en généralisation sur l'espérance du vote de majorité final. Nous utilisons ensuite ce résultat pour étudier l'apprentissage multivues lorsque l'on désire apprendre un modèle en deux étapes: (i) apprentissage d'un ou plusieurs votes de majorité pour chaque vue, (ii) que l'on combine lors d'une seconde étape. Enfin, nous validons empiriquement l'intérêt de cette approche PAC-Bayésienne pour l'apprentissage multivues.

Pas de résumé disponible.

Pas de résumé disponible.

Dans cet article, nous fournissons deux contributions principales dans la théorie PAC-Bayesienne pour l'adaptation de domaine où l'objectif est d'apprendre, à partir d'une distribution source, un vote majoritaire performant sur une distribution cible différente. D'une part, nous proposons une amélioration de l'approche précédente proposée par Germain et al. (2013), qui s'appuie sur une nouvelle pseudodistance de distribution basée sur une moyenne de désaccord, ce qui nous permet de dériver une nouvelle limite d'adaptation de domaine PAC-Bayesienne plus serrée pour le classifieur de Gibbs stochastique. Nous la spécialisons aux classifieurs linéaires et concevons un algorithme d'apprentissage qui montre des résultats intéressants sur un problème synthétique et sur une tâche populaire d'annotation de sentiments. D'autre part, nous généralisons ces résultats à l'adaptation au domaine multisource, ce qui nous permet de prendre en compte différents domaines sources. Cette étude ouvre la voie à la résolution de tâches d'adaptation de domaine en utilisant tous les outils PAC-Bayes.

Nous proposons un processus de preuve simplifié pour les limites de généralisation PAC-Bayes, qui permet de diviser la preuve en quatre inégalités successives, facilitant ainsi la "personnalisation" des théorèmes PAC-Bayes. Nous proposons également une famille de bornes PAC-Bayes basée sur la divergence de Rényi entre les distributions antérieure et postérieure, alors que la plupart des bornes PAC-Bayes sont basées sur la divergence de Kullback-Leibler. Enfin, nous présentons une évaluation empirique de la rigueur de chaque inégalité de la preuve simplifiée, tant pour les bornes PAC-Bayes classiques que pour celles basées sur la divergence de Rényi.

Nous étudions le problème de l'adaptation de domaine PAC-Bayesien : Nous voulons apprendre, à partir d'un domaine source, un modèle de vote majoritaire dédié à un domaine cible. Notre contribution théorique apporte une nouvelle perspective en dérivant une limite supérieure sur le risque de la cible où la divergence des distributions - exprimée comme un ratio - contrôle le compromis entre une mesure d'erreur de la source et le désaccord des électeurs de la cible. Notre limite suggère que l'on doit se concentrer sur les régions où les données de la source sont informatives. À partir de ce résultat, nous dérivons une limite de généralisation PAC-Bayes et la spécialisons aux classificateurs linéaires. Ensuite, nous déduisons un algorithme d'apprentissage et réalisons des expériences sur des données réelles.

Pas de résumé disponible.

Nous montrons un lien fort entre les limites de risque PAC-Bayesiennes fréquentistes et la vraisemblance marginale bayésienne. En d'autres termes, pour la fonction de perte de log-vraisemblance négative, nous montrons que la minimisation des limites de risque de généralisation PAC-Bayes maximise la vraisemblance marginale bayésienne. Ceci fournit une explication alternative au critère bayésien du rasoir d'Occam, sous l'hypothèse que les données sont générées par un modèle i.i. (i.i.).

Nous proposons une nouvelle étude théorique de l'adaptation au domaine pour les classificateurs à vote majoritaire (d'un domaine source à un domaine cible). Nous limitons le risque de la cible par un compromis entre deux termes seulement : Les erreurs conjointes des votants sur le domaine source, et le désaccord des votants sur le domaine cible. Cette nouvelle étude est donc plus simple que les autres analyses qui reposent généralement sur trois termes. Nous dérivons également une limite de généralisation PAC-Bayes qui mène à un algorithme DA pour les classificateurs linéaires.

Nous étudions le problème de l'adaptation de domaine PAC-Bayesien : Nous voulons apprendre, à partir d'un domaine source, un modèle de vote majoritaire dédié à un domaine cible. Notre contribution théorique apporte une nouvelle perspective en dérivant une limite supérieure sur le risque de la cible où la divergence des distributions - exprimée comme un ratio - contrôle le compromis entre une mesure d'erreur de la source et le désaccord des électeurs de la cible. Notre limite suggère que l'on doit se concentrer sur les régions où les données de la source sont informatives. À partir de ce résultat, nous dérivons une limite de généralisation PAC-Bayes et la spécialisons aux classifieurs linéaires. Ensuite, nous déduisons un algorithme d'apprentissage et réalisons des expériences sur des données réelles.

Cet article présente une analyse théorique de l'adaptation au domaine basée sur la théorie PAC-Bayes. Nous proposons une amélioration de la précédente borne d'adaptation au domaine obtenue par Germain et al. de deux manières. Nous donnons d'abord une autre limite de généralisation plus serrée et plus facile à interpréter. De plus, nous fournissons une nouvelle analyse du terme constant apparaissant dans la limite qui peut être d'un grand intérêt pour le développement de nouvelles solutions algorithmiques.

Dans cet article, nous nous intéressons au problème de l'adaptation de domaine (AD) correspondant au cas où les données d'apprentissage et de test sont issues de distributions différentes. Nous proposons une analyse PAC-Bayésienne de ce problème dans le cadre de la classification binaire sans information supervisée sur les données de test. La théorie PAC-Bayésienne permet d'obtenir des garanties théoriques sur le risque d'un vote de majorité sur un ensemble d'hypothèses. Notre contribution au cadre de l'AD repose sur une nouvelle mesure de divergence entre distributions basée une notion d'espérance de désaccords entre hypothèses. Cette mesure nous permet de dériver une première borne PAC-Bayésienne pour le classifieur stochastique de Gibbs. Cette borne a l'avantage d'être optimisable directement pour tout espace d'hypothèses et nous en donnons une illustration dans le cas de classifieurs linéaires. L'algorithme proposé dans ce contexte montre des résultats intéressants sur un problème jouet ainsi que sur une tâche courante d'analyse d'avis. Ces résultats ouvrent de nouvelles perspectives pour appréhender le problème de l'adaptation domaine grâce aux outils offerts par la théorie PAC-Bayésienne.

Nous proposons une première analyse PAC-Bayes pour l'adaptation au domaine (AD) qui se produit lorsque les distributions d'apprentissage et de test diffèrent. Elle s'appuie sur une nouvelle pseudodistance de distribution basée sur une moyenne des désaccords. En utilisant cette mesure, nous dérivons une limite PAC-Bayesienne de l'AD pour le classifieur stochastique de Gibbs. Cette limite a l'avantage d'être directement optimisable pour tout espace d'hypothèses. Nous la spécialisons aux classificateurs linéaires et concevons un algorithme d'apprentissage qui donne des résultats intéressants sur un problème synthétique et sur une tâche populaire d'annotation de sentiments. Cela ouvre la porte à la résolution de tâches d'AD en utilisant tous les outils PAC-Bayes.