Une formulation de tir de l'apprentissage profond.

Résumé Les réseaux neuronaux à profondeur continue peuvent être considérés comme des limites profondes des réseaux neuronaux discrets dont la dynamique ressemble à une discrétisation d'une équation différentielle ordinaire (EDO). Bien que des mesures importantes aient été prises pour tirer parti des avantages de ces formulations continues, la plupart des techniques actuelles ne sont pas véritablement à profondeur continue, car elles supposent des couches identiques. En effet, les travaux existants mettent en évidence la myriade de difficultés que présente un espace de paramètres à dimension infinie dans l'apprentissage d'une ODE neuronale à profondeur continue. À cette fin, nous introduisons une formulation de tir qui déplace la perspective de paramétrer un réseau couche par couche à paramétrer sur des réseaux optimaux décrits seulement par un ensemble de conditions initiales. Pour l'extensibilité, nous proposons une nouvelle paramétrisation d'ensemble de particules qui spécifie entièrement la trajectoire de poids optimale du réseau neuronal à profondeur continue. Nos expériences montrent que notre formulation de tir par particules-ensemble peut atteindre des performances compétitives, en particulier sur des tâches de prévision à long terme. Enfin, bien que les travaux actuels soient inspirés par les réseaux neuronaux à profondeur continue, la formulation de tir d'ensemble de particules s'applique également aux réseaux à temps discret et peut conduire à un nouveau domaine de recherche fertile dans la paramétrisation de l'apprentissage profond.