Page de résultats Kameleoon

Kameleoon met à votre disposition son propre outil de suivi. Par défaut, il est déjà configuré comme outil de reporting pour vos sites. Si ce n’est pas le cas, notre article sur la configuration des outils de suivi vous aidera à l’installer.

Utiliser l’outil de suivi Kameleoon

Accéder aux résultats

Tout d'abord, connectez-vous sur votre espace personnel. Sur la page d’accueil, cliquez sur le bouton « Tous les tests » afin d’afficher la liste de vos tests A/B.

Vous pouvez également utiliser le menu latéral de gauche pour accéder à la page
« Vue d'ensemble » dans la partie « A/B Test ».

Note : si ce sont les résultats de votre dernier test qui vous intéressent, vous constaterez qu’ils apparaissent directement sur votre page d’accueil. Cliquez sur le bloc bleu pour afficher la page des résultats.

Après avoir cliqué sur « Tous les tests », la liste de vos tests apparaît. Vous pouvez rechercher le test qui vous intéresse dans la liste, en scrollant ou en utilisant la barre de recherche.

Passez ensuite votre souris sur le nom de votre test et cliquez sur « Voir les résultats » pour charger la page de résultats.

Note : les résultats peuvent parfois mettre du temps à remonter, ce qui amène des temps de chargement plus ou moins long. Plus il y a de données à gérer, plus le chargement demandera du temps. Patience !

 Définitions

Les résultats de vos tests sont traduits par différents taux. Pour y voir plus clair, voici un petit récapitulatif de leur signification.

Taux de conversion : il s’agit du pourcentage des visiteurs qui ont atteint un objectif. C’est cette mesure que l’on cherche à optimiser lors d’un test A/B.

Taux d’amélioration : il correspond à l’amélioration du taux de conversion par rapport à la référence. Ce taux est calculé pour chaque variante à partir de la référence, celle-ci a donc un taux d’amélioration de 0.

Taux de confiance : il s’agit d’une mesure statistique qui permet de déterminer la probabilité qu’une variante batte l’originale. Par exemple, si une variante obtient un taux de confiance de 95 %, cela signifie qu’il y a 95 % de chances que cette variante batte la référence. Au début d’un test, ce taux peut varier fortement d'un jour à l'autre : on considère que les résultats d’un test sont significatifs dès lors que ce taux est stabilisé. Pour qu’une variante soit gagnante, il faut que le taux de confiance soit très élevé (au moins 90 %) et qu’il soit constant. Ces informations sont très faciles à constater grâce à la courbe d’évolution du taux de confiance.

Paramétrer vos résultats

Les résultats sont affichés par objectif et plage de dates. Par défaut, l’un de vos objectifs est sélectionné, et la plage de dates s’étend du lancement du test jusqu’à aujourd’hui. Vous pouvez bien entendu choisir de modifier ces critères.

Attention ! Ces changements s’appliquent à toute la page.

Choix de l'objectif

Vous pouvez changer d’objectif grâce au menu déroulant situé en haut de votre page. Passez votre souris au dessus de l’objectif sélectionné afin d'afficher les différents objectifs paramétré pour votre test. Les résultats de cet objectif seront chargé dans votre page de résultats.

Les objectifs disponibles sont ceux que vous avez paramétrés au moment de lancer votre test. Si vous avez besoin d'aide pour le paramétrage de vos objectifs, vous pouvez consulter notre article sur la configuration des objectifs de conversion.

Choix de la plage de dates

Par défaut, la période affichée s’étend de la date de lancement à la date du jour.

Vous pouvez si vous le souhaitez afficher les résultats pour une autre plage de dates. La nouvelle plage de dates choisie sera appliquée à tous les résultats affichés sur la page.

Pour ce faire, cliquez sur le champ de la plage horaire, situé en haut à droite de vos résultats.

Un calendrier apparaît : cliquez sur les jours de votre choix pour sélectionner votre nouvelle plage de dates, puis cliquez sur le bouton « Valider ».

Choix de la méthode d'analyse

Par défaut, les résultats de votre test vous sont présentés d'après une analyse de vos données dite fréquentiste.

Kameleoon vous propose également une autre méthode d'analyse, dite Bayésienne qui se base sur sur des connaissances à priori - notamment grâce aux tests déjà réalisés. Pour y voir plus clair entre ces différentes méthodes, n'hésitez pas à consulter l'article Approche fréquentiste ou bayésienne ? rédigé par notre data scientist préféré.

Sur votre page de résultats, cette méthode est représentée par le bouton « b » situé en haut de la page. Lorsque le bouton est souligné de vert, les résultats sont exploitables : cliquez sur le bouton afin de les afficher.

L'article détaillé Les résultats selon la méthode bayésienne vous donnera toutes les informations nécessaires à l'analyse de vos résultats via cette méthode.

Informations principales

Sur la gauche de la page de résultats, deux blocs vous résument les informations principales relatives à votre test.

Variante gagnante

Le premier bloc met en avant la variante gagnante pour l'objectif sélectionné. Dans notre exemple, il s'agit de la variante « C ».

Cliquez sur le nom d'une variante pour en afficher les détails.

En un clin d'œil, vous verrez ainsi le nom de vos variantes, leur taux d’amélioration ainsi que leur taux de confiance. 

Informations sur le test

Un second bloc vous apporte les principales informations concernant votre test, sur la plage de dates sélectionnée.

Ces informations correspondent à l'ensemble de votre test, elles restent donc identiques quel que soit l'objectif sélectionné. 

 

Un graphique indique le nombre de visiteurs ainsi que leur répartition, chaque couleur représentant une variante.

Vous retrouverez également la date de début de votre test et les outils de reporting sélectionnés, ici Kameleoon et heat maps.

Résultats détaillés

Taux de conversion

Le taux de conversion est représenté par cette icône : 

Si vous n’avez que un ou deux objectifs de paramétré(s), c’est cette page qui s’affichera par défaut lorsque vous chargerez vos résultats.

Cette courbe vous permet d’afficher l’évolution du taux de conversion, sur l’objectif et la plage de dates choisis, pour chacune de vos variantes.

Dans cet exemple, on peut constater que la référence (courbe grise) a un taux de conversion systématiquement supérieur à celui de nos deux variantes.

Affichage des données 

Vous pouvez choisir d’afficher un point par jour, semaine ou mois et obtenir ainsi des résultats plus ou moins précis.

Plus il y aura de données affichées, plus vos résultats seront précis. Choisissez l’affichage en fonction de votre test : afficher les données par mois sur un test qui n’a duré que deux mois ne vous donnerait que deux points sur la courbe. A l’inverse, afficher les données par jour sur un test qui a duré plus de six mois vous donnerait un nombre très élevé de données.

Informations détaillées

Passez votre souris au-dessus d'un point pour en afficher les détails.

Choix des variantes

Par défaut, les courbes de toutes les variantes sont affichées. Vous pouvez à tout moment choisir d’afficher ou de ne pas afficher la courbe d’une de vos variantes. Cela peut s’avérer utile pour comparer deux variantes en particulier ou bien simplement afin de lire plus facilement vos résultats si vous avez de nombreuses variantes.

Pour sélectionner ou désélectionner une variante, cliquez sur « Tous sélectionnés » pour ouvrir le menu déroulant et cochez ou décochez les variantes de votre choix.

Vue comparative

La vue comparative est représentée par cette icône :

Si vous avez paramétré 3 objectifs ou plus sur votre test, elle sera affichée par défaut.

Cette « toile d’araignée » vous permet de comparer les performances de vos variantes pour différents objectifs.

Pour chaque objectif, les taux d'améliorations de vos variantes sont affichées.

Sur notre exemple, on voit bien que :

  • Sur l'objectif « Engagement », les variantes ont des résultats proches de ceux de la référence (ni amélioration ni détérioration).
  • Sur l'objectif « Clic CTA », les deux variantes apportent une amélioration par rapport à la variante originale, la variante orange arrivant en tête.
  • Sur l'objectif « Clic lien », les deux variantes sont beaucoup moins performantes que la référence.

Par défaut, tous vos objectifs et toutes vos variantes sont affichées. Vous pouvez bien entendu choisir les éléments de votre graphique.

Choix des objectifs

Pour choisir quels objectifs afficher, cliquez sur « Tous sélectionnés » pour ouvrir le menu déroulant. Vous pouvez alors cocher ou décocher les objectifs de votre choix.

Pour afficher le graphique, au minimum trois objectifs doivent être sélectionnés.

Choix des variantes

Par défaut, toutes vos variantes apparaissent sur le graphique. Vous pouvez à tout moment choisir d’afficher ou de ne pas afficher l’une de vos variantes. Cela peut s’avérer utile pour comparer deux variantes en particulier ou bien simplement afin de lire plus facilement vos résultats si vous avez de nombreuses variantes.

Pour sélectionner ou désélectionner une variante, cochez ou décochez simplement les cases correspondantes, situées sur la droite de votre graphique.

Informations détaillées

Passez votre souris au-dessus d'un point pour en afficher les détails.

Taux de confiance

Le taux de confiance est représenté par cette icone :

Cette courbe vous permet d’afficher l’évolution du taux de confiance, sur l’objectif et la plage de date choisis, pour chacune de vos variantes.

Après avoir lancé votre test, vos résultats sont susceptibles de varier. Ainsi, votre taux de confiance, qui correspond à la probabilité qu’une variante batte sa référence, pourra varier fortemment au début de votre test. Cela signifie que les données ne sont pas encore exploitables et qu’il faut continuer encore le test pour recueillir plus de données.

Lorsque la courbe s’aplatit, cela siginifie que les résultats de votre test sont stabilisés et que vous pouvez exploiter ces données en toute confiance.

Dans le cadre de notre exemple, les deux variantes se stabilisent à un taux de confiance proche de 95 %. Cela signifie que pour l’objectif choisi, les deux variantes ont de très fortes probabilités de battre la référence.

On observe également que la courbe bleue se stabilise bien avant la courbe orange, ce qui signifie simplement que les données recueillies pour cette variante ont été plus fiables plus tôt.

Affichage des données

Vous pouvez choisir d’afficher un point par jour, semaine ou mois et obtenir ainsi des résultats plus ou moins précis.

Plus il y aura de données affichées, plus vos résultats seront précis. Choisissez l’affichage en fonction de votre test : afficher les données par mois sur un test qui n’a duré que deux mois ne vous donnerait que deux points sur la courbe. A l’inverse, afficher les données par jour sur un test qui a duré plus de six mois vous donnerait un nombre très élevé de données.

Informations détaillées

Passez votre souris au-dessus d'un point pour en afficher les détails.

Choix des variantes

Par défaut, les courbes de toutes les variantes sont affichées. Vous pouvez à tout moment choisir d’afficher ou de ne pas afficher la courbe d’une de vos variantes. Cela peut s’avérer utile pour comparer deux variantes en particulier ou bien simplement afin de lire plus facilement vos résultats si vous avez de nombreuses variantes.

Pour sélectionner ou désélectionner une variante, cliquez sur « Tous sélectionnés » pour ouvrir le menu déroulant et cochez ou décochez les variantes de votre choix.

Tableau récapitulatif

Vos résultats

En bas de la page, un tableau reprend l’ensemble des résultats de votre test. Il concerne l’objectif sélectionné en haut de votre page ainsi que la plage de dates sélectionnée. Vous pouvez également afficher les résultats de vos autres objectifs en cliquant sur « Afficher tous les objectifs ».

La référence, nommée « A », sera toujours dans la première colonne, en gris. La variante gagnante apparaîtra dans la deuxième colonne, accompagnée du bouton « Dévier trafic » qui vous permet de dévier tout votre trafic vers la variante gagnante. Les autres variantes sont ensuite affichées dans l’ordre.

Vous retrouverez dans ce tableau les taux d’amélioration, taux de confiance et taux de conversion.

Pour la référence, le taux d’amélioration sera systématiquement à 0 % et le taux de confiance inexistant.

Vous retrouverez également le nombre de conversions et de visites : le premier nombre correspond au nombre exact de conversions, le second, séparé par un
« / », correspond au nombre total de visiteurs exposé à la variante.

Filtres/Ventilation

Vous pouvez également afficher des résultats plus précis grâce à l’option « Filtres/ventilation ».

Lorsque vous cliquez sur le bouton « Filtres/ventilation », deux menus déroulants s’affichent, vous permettant de ventiler et/ou filtrer. Les deux options sont cumulables : il est possible de ventiler et filtrer en même temps. Ce n’est cependant pas obligatoire, vous pouvez donc vous contenter de la ventilation ou bien du filtre.

Ventilation

La ventilation vous permet d’afficher des résultats plus précis : ainsi, vous pouvez afficher le détail de vos résultats par navigateur, système d’exploitation, jours de la semaine, etc.

Choisissez votre ventilation, puis cliquez sur le bouton « Valider ».

Dans notre exemple, nous avons choisi de ventiler les résultats par jour de la semaine. Ainsi, nous pouvons avoir accès aux résultats détaillés. Cliquez sur la rubrique de votre choix afin de voir le détail des résultats selon la ventilation que vous avez choisie.

Filtre

Il est également possible de filtrer les résultats. Le filtre, contrairement à la ventilation, n'affiche les résultats que pour le filtre choisi.

Vous pouvez ainsi décider de n’afficher les résultats que pour les visiteurs utilisant un certain type d’appareil ou un navigateur en particulier.

Pour cela, choisissez le filtre de votre choix et cliquez sur le bouton « Valider ».

Une popin s’ouvre alors, vous permettant de préciser votre filtre. Par exemple, en choisissant le filtre « Jour de la semaine », vous pouvez choisir de n’afficher que les résultats de la semaine, du week end ou bien d’un jour particulier.

Cliquez une nouvelle fois sur le bouton « Valider » pour activer le filtre.

Vous avez d’autres questions ? Envoyer une demande
Réalisé par Zendesk