Étiquetage d'actions faiblement supervisé dans les vidéos sous contraintes d'ordre.

Résumé Nous disposons d'un ensemble de clips vidéo, chacun annoté d'une liste ordonnée d'actions, telles que "marcher", "s'asseoir" et "répondre au téléphone", extraites, par exemple, du texte associé. Nous cherchons à localiser temporairement les actions individuelles dans chaque clip ainsi qu'à apprendre un classificateur discriminant pour chaque action. Nous formulons le problème comme une affectation temporelle faiblement supervisée avec des contraintes d'ordonnancement. Chaque clip vidéo est divisé en petits intervalles de temps et chaque intervalle de temps de chaque clip vidéo se voit attribuer une étiquette d'action, tout en respectant l'ordre dans lequel les étiquettes d'action apparaissent dans les annotations données. Nous montrons que l'attribution des étiquettes d'action peut être déterminée en même temps que l'apprentissage d'un classificateur pour chaque action de manière discriminante. Nous évaluons le modèle proposé sur un nouveau jeu de données difficile de 937 clips vidéo avec un total de 787720 images contenant des séquences de 16 actions différentes provenant de 69 films hollywoodiens.