Apprentissage de représentation non supervisé PAC-Bayes Contrastive.

Résumé L'apprentissage contrastif non supervisé de représentations (CURL) est la technique de pointe pour apprendre des représentations (comme un ensemble de caractéristiques) à partir de données non étiquetées. Alors que CURL a recueilli plusieurs succès empiriques récemment, la compréhension théorique de ses performances manquait encore. Dans un travail récent, Arora et al. (2019) fournissent les premières bornes de généralisation pour CURL, en s'appuyant sur une complexité de Rademacher. Nous étendons leur cadre au cadre PAC-Bayes flexible, permettant de traiter le cadre non-iid. Nous présentons des limites de généralisation PAC-Bayes pour CURL, qui sont ensuite utilisées pour dériver un nouvel algorithme d'apprentissage de représentation. Des expériences numériques sur des ensembles de données réelles illustrent que notre algorithme atteint une précision compétitive et donne des limites de généralisation avec des valeurs non-vacues.