La complexité des tests A/B.

Résumé Le test A/B consiste à déterminer la meilleure option parmi deux alternatives dont les résultats sont aléatoires. Nous fournissons des limites inférieures dépendantes de la distribution pour la performance du test A/B qui améliorent les résultats actuellement disponibles à la fois dans le cadre de la confiance fixe (ou delta-PAC) et du budget fixe. Lorsque la distribution des résultats est gaussienne, nous prouvons que la complexité des paramètres de confiance fixe et de budget fixe est équivalente, et que l'échantillonnage uniforme des deux alternatives est optimal uniquement dans le cas de variances égales. Dans le cas de variance commune, nous fournissons également une règle d'arrêt qui se termine plus rapidement que les algorithmes de confiance fixe existants. Dans le cas des distributions de Bernoulli, nous montrons que la complexité de l'établissement du budget fixe est plus petite que celle de l'établissement de la confiance fixe et que l'échantillonnage uniforme des deux alternatives - bien que non optimal - est conseillé en pratique lorsqu'il est combiné avec un critère d'arrêt approprié.