Significativité statistique

Qu'est-ce que la significativité statistique ?

Z-score

Le z-score est une mesure statistique qui permet de déterminer la validité des résultats obtenus lors d'un A/B test et si une variante est plus ou moins performante que la variante de contrôle ou de référence. Pour en savoir plus concernant le z-score et sa formule mathématique, consultez l'article Standard score sur Wikipédia (en anglais).

Par exemple, si le niveau de significativité de votre test est de 90 % , cela signifie que la variante a 90 % de chances de battre l'originale, mais que vous avez aussi
10 % de chances de vous tromper. Il est en général nécessaire qu'il soit au moins égal ou supérieur à 90 %.

Exemple

Prenons l'exemple du test A/B ci-dessous :

  • Variante A de référence : 142 000 visiteurs uniques testés pour un taux de conversion de 3,52 %, soit 5 000 ventes.
  • Variante B testée : 216 000 visiteurs uniques testés pour un taux de conversion de 3,64 %, soit 7 850 ventes.

Dans cet exemple, la variante B est plus performante que la variante de référence, mais votre test est-il suffisamment significatif pour être certain de ce résultat ? En calculant le taux de significativité statistique, nous nous apercevons que la variante B surperforme la variante de référence et que la significativité est de 96 %. Votre test A/B est donc un succès et vous pouvez basculer en production la variante B.

Vérifier la significativité statistique

Si vous utilisez Google Analytics ou notre outil de reporting interne comme outil d'analyse, Kameleoon calcule automatiquement la significativité de votre test dans votre back-office par rapport à vos différents objectifs.

Lors de l'analyse d'un test A/B avec Google Analytics, seul le taux de conversion par objectif est consultable dans Google Analytics, mais il ne vous est pas possible de savoir simplement, sans calcul statistique, quelle variation est la plus performante.

Kameleoon calcule automatiquement pour chacune de vos expériences une mesure statistique appelée le z-score, qui permet de déterminer la validité des résultats obtenus lors d'un A/B test, c'est à dire, si la variante que vous avez testée est plus ou moins performante que la version de référence.

Taux de confiance

La visualisation de cette mesure s'effectue directement depuis votre espace personnel Kameleoon.

Une fois connecté, cliquez sur le bouton « Tous les tests ».

Cliquez ensuite sur le test pour lequel vous souhaitez visualiser la significativité statistique.

La page de résultats vous permet de consulter la performance de vos tests. Pour chaque variation, Kameleoon affiche :

  • Le pourcentage d'amélioration par rapport à la version de référence A.
  • L'indice de confiance, ou significativité statistique.
  • Le taux de conversion par variation.
  • Le nombre de conversions
  • Le nombre de visites converties
  • Le nombre de visites

L'indice de confiance de votre test est aussi visible depuis la barre latérale accessible depuis la même page. Dans l'exemple suivant, l'indice de confiance est de 99 % :

Évolution et fiabilité

Sur la page de résultats, cliquez sur l'icône suivante pour afficher la courbe d'évolution du taux de confiance :

Cette courbe concerne l’évolution du taux de confiance, sur l’objectif et la plage de date choisis, pour chacune de vos variantes.

Après avoir lancé votre test, vos résultats sont susceptibles de varier. Ainsi, votre taux de confiance, qui correspond à la probabilité qu’une variante batte sa référence, pourra varier fortemment au début de votre test. Cela signifie que les données ne sont pas encore exploitables et qu’il faut continuer encore le test pour recueillir plus de données.

Lorsque la courbe s’aplatit, cela siginifie que les résultats de votre test sont stabilisés et que vous pouvez exploiter ces données en toute confiance.

Dans l'exemple ci-dessus la variante se stabilise à un taux de confiance proche de 95 %. Cela signifie que pour l’objectif choisi, la variante a de très fortes probabilités de battre la référence.

On observe également que la courbe bleue se stabilise bien avant la courbe orange, ce qui signifie simplement que les données recueillies pour cette variante ont été plus fiables plus tôt.

Vous avez d’autres questions ? Envoyer une demande
Réalisé par Zendesk