Analyse des résultats

Lorsque votre test est en cours d'exécution depuis quelque temps, vous verrez apparaître les données recueillies dans la page RESULTS à mesure que vos utilisateurs découvrent les variantes.

Comprendre les résultats

Vous trouverez ci-dessous un exemple d'affichage de résultats dans l'onglet Overview. D'un coup d'œil, vous pouvez observer le nombre de participants et les performances de chaque variante pour chaque objectif.

 

Le tableau supérieur présente le nombre de visiteurs ayant ouvert l’application depuis le début du test, le nombre de participants total ayant participé au test (en fonction de votre ciblage) et le taux de participation.

Le tableau inférieur présente la performance de chaque variante au regard des objectifs mesurés pour le test.

La cellule à l'intersection de chaque variante (hors référence ou original) et de chaque objectif détaille : le % d’amélioration (positif ou négatif), l’impact sur le taux de conversion et l’indice de confiance.

  • Le premier nombre correspond au taux d’amélioration par rapport à la version d’origine, soit un pourcentage indiquant de combien la variante est supérieure ou inférieure par rapport à la version de contrôle pour cet objectif spécifique.
  • La deuxième ligne de nombres indique l'impact de la variante par rapport à la version de contrôle pour cet objectif. Autrement dit, il s'agit de la modification brute du taux de conversion entre la version de référence et la variante.
  • La couleur de la cellule illustre la performance de la variante. La couleur verte signifie que les performances de la variante sont supérieures à celles de la version de référence. La couleur rouge signifie qu'elles sont inférieures.
  • Enfin, le fait que la couleur soit claire ou foncée indique dans quelle mesure cette différence est significative d'un point de vue statistique, selon une distribution binomiale. Une cellule blanche signifie que la pertinence statistique est inférieure à 80 %. Une cellule vert clair ou rouge clair signifie que la pertinence se situe entre 80 et 95 %. Une cellule vert foncé ou rouge foncé signifie que la différence entre la variante et la version de référence atteint le niveau de confiance de 95 % en termes de pertinence statistique.

 

Veuillez noter que les performances de la version de référence pour chaque objectif ne sont comparées à aucun élément par défaut. Chaque variante est comparée à la version de référence.

Si vous n'avez pas encore ajouté d'objectifs à votre test, faites-le en sélectionnant l'onglet Goals/Funnels et en cliquant sur Create Goal. Un objectif est composé d'événements, qu'il s'agisse d'événements uniques d'Apptimize, d'événements importés via d'autres plates-formes analytiques comme Google Analytics, Flurry, Mixpanel et Omniture, ou d'événements combinés comme des entonnoirs de conversion.

 

 

Si vous cliquez sur n'importe quelle cellule dans le tableau général ou si vous sélectionnez un objectif dans l'onglet Goals/Funnels, vous verrez apparaître un tableau, comme le tableau ci-dessous, affichant les performances de toutes les variantes pour chaque objectif avec la performance, la pertinence statistique, le taux de conversion de l'objectif, le nombre de participants, le nombre de conversions et le nombre total pour lequel l'objectif a été émis.

  

 

Sur la droite, un menu déroulant permet d'afficher les résultats pour votre objectif sous forme de tableau, d’histogrammes ou de graphique linéaire chronologique. L’histogramme ci-dessous illustre une comparaison des performances des variantes pour l'objectif que vous avez sélectionné. Les lignes au-dessus et en dessous de l’histogramme sont des barres d'erreur représentant l'intervalle de confiance du taux de conversion moyen. Le graphique peut indiquer le taux de conversion, le nombre de conversions et la différence.

 

 

Les données chronologiques du graphique linéaire pour les performances correspondant à cet objectif sont également disponibles. Cliquez sur le menu déroulant de façon à sélectionner Line Chart parmi les options Table, Bar Graph et Line Chart affichées dans l'image ci-après (dessous). Vous avez la possibilité de régler la plage de temps sur la chronologie afin d'observer divers jours et heures de l'exécution du test.

 

 

 

Segmentation et filtrage

L’interface vous permet de creuser certaines données afin de mieux comprendre la situation. Vous pouvez filtrer les facteurs dont vous savez qu'ils faussent vos résultats pour les exclure ou segmenter les données par population ou critères pour observer les différences de performances. 

Vous pouvez notamment segmenter et filtrer les données en fonction de l'un des attributs par défaut suivants :

  • Modèle de l'appareil
  • Hauteur de l'écran
  • Largeur de l'écran
  • Échelle de l'écran
  • Pays
  • Version du système d'exploitation
  • Langue

Vous pouvez également définir des attributs personnalisés en fonction des données visiteurs dont vous disposez. Contactez-nous pour plus d'informations sur la marche à suivre pour effectuer ces opérations dans votre application.

 

Impact sur le taux d’engagement ou de rétention

La solution assure automatiquement le suivi de l’engagement et de la fidélisation de vos visiteurs sans AUCUNE action de votre part, Apptimize recueille les données suivantes pour toutes vos variantes :

  • Nombre moyen de sessions
  • Nombre moyen d'écrans consultés par session
  • Intervalle de temps moyen entre les sessions
  • Durée moyenne des sessions
  • Rétention sur une journée
  • Rétention sur sept jours

Cliquez simplement sur l'onglet Engagement pour afficher ces résultats.

 

 

Une session est comptabilisée lorsqu’un utilisateur utilise votre application, La durée moyenne d’une session est mesurée - combien de temps l'utilisateur a utilisé votre application, ainsi que l'intervalle de temps moyen entre les sessions.

 

Le nombre d'écrans visualisés par session varie sur IOS et Android. Sur Android, il s’agit du nombre d'activités, de popups et de fragments que nous mesurons au cours d'une session. Sur iOS, c’est le nombre de contrôleurs de vue affichés que nous mesurons par session.

L’engagement (ou retention) permet de savoir combien de visiteurs reviennent sur votre application au bout de 1 jour ou 7 jours après avoir lancé votre test. Par exemple, si vous avez lancé un test le 6 novembre, l’indicateur 1-day permet d’obtenir le nombre d’utilisateurs qui se sont connectés entre le 6 et le 7 novembre. L’indicateur 7-day affichera le nombre de visiteurs ayant ouvert l’application une seconde fois entre le 6 novembre et le 12 novembre.

 

Pour pouvoir obtenir ces résultats, votre application doit s’appuyer le SDK iOS v2.7+ ou le SDK Android v2.4+.

Quand dois-je interrompre un test ?

La réponse à cette question dépend du degré de certitude que vous voulez avoir par rapport au fait qu'une variante est vraiment meilleure que la référence avant de diffuser cette variante auprès de tous les utilisateurs. Une pertinence statistique de 95 % est considérée comme la norme scientifique pour la pratique de l’A/B testing. Cela signifie qu'il y a 95 % de chances que le taux de conversion réel de votre variante soit meilleur que le taux de conversion réel de votre version de contrôle (référente). C'est aussi le degré de certitude exigé pour les essais cliniques de médicaments. Ce niveau peut toutefois ne pas être nécessaire pour tous les tests. Si le risque que le test affecte considérablement vos résultats est faible ou si vous êtes confronté à une urgence, vous pouvez conclure le test dès que vous avez atteint 90 % ou 80 % de pertinence statistique. Le niveau dépend donc du degré de certitude que vous souhaitez acquérir.

Je continue d'attendre, mais mes résultats ne sont toujours pas statistiquement significatifs. Que dois-je faire ?

Trois options s'offrent à vous : 1) attendre, 2) réorganiser votre test, ou 3) abandonner. Si votre test est en cours d'exécution depuis seulement quelques jours et gagne en pertinence statistique, il peut être utile d'attendre encore un peu. Dans le cas contraire, vous pouvez envisager de réorganiser votre test afin d'augmenter le pourcentage d'utilisateurs pour qui le test est visible et/ou de réduire le nombre de variantes. Si ces techniques demeurent sans succès, il se peut qu'il n'y ait en fait pas de réelle différence entre vos variantes. Vous pouvez alors interrompre le test et conclure que les variantes sont probablement semblables.

Une bonne approche consiste à examiner les indices de confiance entre chaque variante. Si les indices de confiance sont importants, le fait de prolonger le test est susceptible de générer des résultats statistiquement significatifs. En revanche, si les indices de confiance sont faibles (en dessous de 65%) et si les taux de conversion sont très proches les uns des autres, il est probable qu'il n'existe pas de différence entre vos variantes.

Comment puis-je afficher une variante gagnante pour tous mes utilisateurs ?

Lorsque vous interrompez un test, c'est votre application d’origine et uniquement cette dernière qui s'affiche pour tous vos utilisateurs. Si une variante autre que la version de référence s'avère meilleure, vous pouvez choisir d'afficher cette variante pour tous les utilisateurs. Il vous suffit pour cela d'accéder à la page Launchpad et de cliquer sur Show to All Users pour afficher la variante gagnante pour tous les utilisateurs.

Une fois que vous aurez cliqué sur ce bouton, la variante choisie apparaîtra pour tous les utilisateurs. Pour annuler cette action, cliquez simplement sur Show to All Users pour la version de référence.

Vous avez d’autres questions ? Envoyer une demande
Réalisé par Zendesk