Inférence en ligne mais précise pour les modèles à variables latentes avec échantillonnage de Gibbs local.

Résumé Nous étudions l'inférence des paramètres dans les modèles à variables latentes à grande échelle. Nous proposons d'abord un traitement unifié de l'inférence en ligne pour les modèles à variables latentes d'une famille exponentielle non canonique, et établissons des liens explicites entre plusieurs méthodes fréquentistes ou bayésiennes proposées précédemment. Nous proposons ensuite une nouvelle méthode d'inférence pour l'estimation fréquentiste des paramètres, qui adapte les méthodes MCMC à l'inférence en ligne des modèles à variables latentes avec l'utilisation appropriée de l'échantillonnage local de Gibbs. Ensuite, pour l'allocation latente Dirich-let, nous fournissons un ensemble étendu d'expériences et de comparaisons avec les travaux existants, où notre nouvelle approche surpasse toutes les méthodes proposées précédemment. En particulier, l'utilisation de l'échantillonnage de Gibbs pour l'inférence des variables latentes est supérieure à l'inférence variationnelle en termes de log-vraisemblance de test. De plus, l'inférence bayésienne par des méthodes variationnelles donne de mauvais résultats, conduisant parfois à de moins bons ajustements avec des variables latentes de plus grande dimension.