Les résultats selon la méthode bayésienne

La promesse du Bayésien

Utiliser la méthode bayésienne, c’est faire confiance à une solution déductive d’analyse des données. Les résultats sont générés plus rapidement qu’avec la méthode classique, et tout aussi sûrs, ce qui permet aux faibles trafics et aux tests urgents de trouver des solutions plus rapidement à leurs comparaisons A/B.

Cette méthode combine les données réelles générées par le test avec les connaissances a priori provenant soit d’études antérieures, soit d’avis d’experts. A terme elle permet d’accéder à une information a posteriori telle que l’estimation des  valeurs futures vers lesquelles tendront le taux de conversion et le taux d’amélioration. On retrouve cette anticipation des tendances sous le nom de « Prédiction » sur la page de résultats.  

Pour en savoir plus sur les natures et différences entre les méthodes bayésienne et classique (dite fréquentiste), n’hésitez pas à consulter l’article rédigé par Amine CHAIBI, notre data scientist Plutôt l’approche fréquentiste ou bayésienne pour vos tests A/B ?

Accéder aux résultats bayésiens

Lorsque vous cliquez sur « VOIR LES RESULTATS » depuis la Vue d’ensemble, vous accédez par défaut aux résultats selon la méthode classique.

 

Le bouton « b » placé entre les outils en haut de votre page de résultats vous permet d’accéder aux données générées par la statistique bayésienne.

 Lorsque le fond du bouton est blanc, c’est que vous êtes sur la page de résultats classique.

Lorsqu’il apparaît enfoncé, c’est que vous êtes sur la page de résultats Bayésienne.

 

Il vous suffit de cliquer sur le bouton pour passer automatiquement d’un état à l’autre.

La couleur sous le bouton « b » correspond à la fiabilité accordée aux résultats selon la méthode bayésienne. Avant même de consulter la page, vous pouvez savoir si les résultats de votre tests sont prêts à être exploités ou non.

Attention ! ll ne vous est pas possible d’accéder à la page de résultats selon la méthode bayésienne dans les cas où :

  • 100% de votre trafic est dévié sur la page originale (référence)
  • Le nombre de visiteurs de votre test est égal à 0

Fonctionnement de la page de résultats 

La structure de la page de résultats selon la méthode bayésienne est à peu de chose près identique à la page de résultats classique.

En revanche, quelques éléments diffèrent de cette version originelle.

De nouveaux indicateurs apparaissent tels que la probabilité de battre l’originale, la fiabilité des résultats selon Bayes, et la notion de prédiction.

Plusieurs outils de représentation graphiques vont disparaître sur cette page, et seul le taux de conversion s’affichera en résultat détaillé.

Quelques définitions ... 

Probabilité de battre l’originale : il s’agit de la probabilité qu’a une variante de battre la page originale (référence) sur un objectif donné avec un taux de conversion plus élevé.

Dans le cas où le trafic attribué à la référence est de 0%, les variantes qui se partagent 100% du trafic ne sont plus mises en relation avec la page originale, et on parlera de « Probabilité d’être la variante gagnante ».

Fiabilité des résultats selon Bayes : elle correspond au taux de confiance attribué aux résultats. Le taux est calculé sur une échelle à 5 niveaux, qu’il est simple d’interpréter grâce à la légende qui s’affiche automatiquement sous la graduation. Les résultats sont complètement fiables une fois que les 5 niveaux ont été atteints. Attention, pour vous prémunir contre tout retournement de tendance, il est conseillé de ne pas exploiter vos résultats avant d’avoir atteint un niveau de 4 sur 5 au moins.

 

 

Notez que la fiabilité des résultats selon Bayes est l’indicateur utilisé sur le bouton « b » pour informer de l’exploitabilité des résultats.

La couleur verte symbolise que le niveau 5 a été atteint par au moins une variante.

La couleur orange symbolise que le niveau 4 au mieux a été atteint par au moins une variante.

Quant à la couleur rouge, elle indique que vos résultats ne sont pas prêts à être exploités.

La prédiction

La prédiction est l’anticipation d’une valeur vers laquelle tendront les résultats. Ces données sont disponibles pour le taux de conversion et le taux d’amélioration uniquement.

Prédire une tendance future requiert de collecter une certaine quantité de données, et souvent l’indicateur n’apparaît pas les premiers jours suivant le lancement du test.  

On peut observer les prédictions directement sur le tableau, sous les valeurs actuelles du taux de conversion et du taux d’amélioration.

 

La valeur prédite apparaît également dans le graphique du taux de conversion, et se situe dans la zone grise sur la droite.  Elle est symbolisée par un cercle, et prend la couleur de la variante à laquelle elle est affiliée.

Utilisez les lignes horizontales en pointillés pour étudier l’évolution de votre taux de conversion par rapport à la valeur à laquelle il aspire. 

Mes résultats sont très différents, est-ce normal ?

Les deux écoles statistiques amènent à des résultats à peu près équivalents, mais n’assurent pas une similitude parfaite entre eux. Il est donc normal que vous observiez des écarts entre certains taux.

Dans certains cas, deux variantes différentes peuvent être déclarées gagnantes sur un même test.

N’hésitez pas à vérifier que le taux de confiance des deux méthodes est bien à son maximum, et en cas de doute, fiez-vous aux résultats de la méthode classique.

Vous avez d’autres questions ? Envoyer une demande
Réalisé par Zendesk