Interpolation entre le transport optimal et la MMD en utilisant les divergences de Sinkhorn.

Résumé La comparaison des distributions de probabilité est un problème fondamental en sciences des données. Les normes et divergences simples, telles que la variation totale et l'entropie relative, ne comparent les densités que de manière ponctuelle et ne parviennent pas à saisir la nature géométrique du problème. En revanche, les écarts moyens maximums (MMD) et les distances de transport optimales (OT) sont deux classes de distances entre les mesures qui tiennent compte de la géométrie de l'espace sous-jacent et mesurent la convergence en droit. Cet article étudie les divergences de Sinkhorn, une famille de divergences géométriques qui interpole entre MMD et OT. En s'appuyant sur une nouvelle notion d'entropie géométrique, nous fournissons des garanties théoriques pour ces divergences : positivité, convexité et métriorisation de la convergence en loi. Sur le plan pratique, nous détaillons un schéma numérique qui permet l'application à grande échelle de ces divergences pour l'apprentissage automatique : sur le GPU, les gradients de la perte de Sinkhorn peuvent être calculés pour des lots d'un million d'échantillons.