Pénalités structurées pour les modèles de langage log-linéaires.

Résumé Les modèles de langage peuvent être formalisés comme des modèles de régression log-linéaire où les caractéristiques d'entrée représentent des contextes précédemment observés jusqu'à une certaine longueur m. La complexité des algorithmes existants pour apprendre les paramètres par maximum de vraisemblance s'étend linéairement en nd, où n est la longueur du corpus d'apprentissage et d est le nombre de caractéristiques observées. Nous présentons un modèle qui croît logarithmiquement en d, ce qui permet d'exploiter efficacement des contextes plus longs. Nous tenons compte de la structure séquentielle du langage naturel en utilisant des objectifs pénalisés arborescents pour éviter le surajustement et obtenir une meilleure généralisation.