Trouver des acteurs et des actions dans les films.

Résumé Nous abordons le problème de l'apprentissage d'un modèle conjoint des acteurs et des actions dans les films en utilisant une supervision faible fournie par les scripts. Plus précisément, nous extrayons les paires acteur/action du scénario et les utilisons comme contraintes dans un cadre de regroupement discriminant. Le problème d'optimisation correspondant est formulé comme un programme quadratique avec des contraintes linéaires. Les personnes dans la vidéo sont représentées par des visages extraits et suivis automatiquement avec les caractéristiques de mouvement correspondantes. Dans un premier temps, nous appliquons le cadre proposé à la tâche d'apprentissage des noms des personnages du film et démontrons des améliorations significatives par rapport aux méthodes précédentes utilisées pour cette tâche. Ensuite, nous explorons la contrainte conjointe acteur/action et montrons son avantage pour l'apprentissage d'actions faiblement supervisées. Nous validons notre méthode dans le cadre difficile de la localisation et de la reconnaissance des personnages et de leurs actions dans les longs métrages Casablanca et American Beauty.