Prédicteur linéaire sur des données générées linéairement avec des valeurs manquantes : non cohérence et solutions.

Résumé Nous considérons la construction de prédicteurs lorsque les données ont des valeurs manquantes. Nous étudions le cas apparemment simple où la cible à prédire est une fonction linéaire des données entièrement observées et nous montrons que, en présence de valeurs manquantes, le prédicteur optimal peut ne pas être linéaire. Dans le cas particulier gaussien, il peut être écrit comme une fonction linéaire d'interactions multidirectionnelles entre les données observées et les divers indicateurs de valeurs manquantes. En raison de sa complexité intrinsèque, nous étudions une approximation simple et prouvons des limites de généralisation avec des échantillons finis, en mettant en évidence les régimes pour lesquels chaque méthode est la plus performante. Nous montrons ensuite que les perceptrons multicouches avec des fonctions d'activation ReLU peuvent être cohérents, et peuvent explorer de bons compromis entre le vrai modèle et les approximations. Notre étude met en évidence la famille intéressante de modèles qu'il est avantageux d'ajuster avec des valeurs manquantes en fonction de la quantité de données disponibles.