Comment lire et interpréter avec précision un rapport sur les expériences de conversion

Publié: 2022-09-14
Comment lire et interpréter avec précision un rapport sur les expériences de conversion

Si vous êtes un utilisateur de Convert, vous savez que vos rapports regorgent de données précieuses. Mais que représentent tous ces chiffres et graphiques ? Et comment savez-vous quelles conclusions vous pouvez en tirer et utilisez-vous ces informations pour améliorer vos tests ?

Est-ce aussi simple que d'utiliser un calculateur de signification statistique pour valider une expérience ?

Calculatrice statistique de test A/B

Est-il suffisant d'appeler un test A/B un succès s'il apparaît en vert sur un rapport d'expérience ? Ou devrions-nous également examiner d'autres facteurs ?

Est-ce qu'un test A/B est un succès s'il est suffisamment vert sur un rapport d'expérience ?

Bien que les calculateurs de signification statistique soient essentiels pour des tests précis, ils ne disent pas tout. Afin de tirer le meilleur parti de vos rapports Convert, vous devez avoir une solide compréhension des statistiques de test A/B.

Et pourquoi est-ce que?

Parce que le test A/B est fondamentalement une méthode d'analyse statistique. Vous ne pouvez pas avoir l'un sans l'autre.

Un test ou une expérience A/B est un exemple de test d'hypothèse statistique, dans lequel une hypothèse sur la relation entre deux ensembles de données est développée et comparée pour voir si une signification statistique est trouvée.

Alors, que vous soyez un débutant ou un utilisateur expérimenté, lisez la suite pour comprendre l'ensemble des statistiques de test disponibles dans vos rapports et obtenir de meilleurs résultats de vos tests A/B !

Alors, que pouvez-vous faire avec un rapport de test A/B ? Voyons deux exemples pratiques.

Exemple 1

Une entreprise de commerce électronique prévoit d'optimiser les pages de produits pour améliorer les taux de conversion.

Dans cette situation particulière,

le taux de conversion de la page produit = le nombre de commandes / le nombre de visiteurs sur la page produit

L'équipe marketing évalue trois nouvelles conceptions de pages de produits. Ils veulent choisir le plus efficace parmi quatre possibilités : un design existant et trois nouveaux. Comment peuvent-ils utiliser le rapport Convert Experiences et ses méthodes statistiques pour repérer les plus performants, étant donné que le taux de conversion est un facteur ?

Exemple 2

En modifiant sa page de tarification, un site Web SaaS espère élargir sa base de membres.

Pour eux,

le taux de conversion de la page de tarification = le nombre d'abonnements / le nombre de visiteurs de la page de tarification

Le marketing évalue trois conceptions différentes pour voir si l'une d'entre elles peut attirer plus d'abonnés que l'actuelle.

A l'aide du rapport Convert Experiences et de ses méthodes statistiques, comment faire une telle comparaison en utilisant le taux de conversion comme critère de sélection ?

Cet article explique ce que contient le rapport Convert Experiences, comment vous pouvez l'utiliser pour améliorer votre site Web et comment interpréter l'analyse détaillée des expériences de vos visiteurs afin que vous puissiez agir.

Lisez la suite pour un guide facile à suivre pour vous aider à comprendre les statistiques derrière les rapports de test Convert A/B.

cacher
  • Une carte détaillée de chaque section d'un rapport d'expérience de conversion
    • ➢ Menu supérieur
      • Filtrer pour une plage de dates spécifique
      • Filtrer pour un segment spécifique
      • Partager le rapport
      • Afficher le code
      • Paramètres de statistiques
      • Interrompre l'expérience
    • ➢ Résumé
      • Activer les recommandations intelligentes
      • Afficher les recommandations intelligentes
      • Capture d'écran de base
      • Aperçu en direct et liens de variation de force
    • ➢ Variantes
    • ➢ Objectifs
      • Nom de la variante
      • Amélioration
      • Visiteurs
      • Conversions
      • Taux de conversion
      • Niveau de confiance (signification statistique)
      • Boîte à moustaches (intervalle de confiance)
      • Statut
      • Graphiques
        • Conversions
        • Des produits
        • Revenu
          • Passez la souris sur le graphique
          • Afficher l'écart type
  • Les formules statistiques convertissent les utilisations
    • Taux de conversion
    • Modification du taux de conversion pour les variantes
    • Intervalles de confiance
    • Score Z
    • Amélioration
  • Que rechercher lors de l'interprétation des rapports d'expérience
    • Les données d'expérience sont-elles significatives ?
      • Variante gagnante : impact positif
      • Variation perdante : impact négatif
      • Résultats non concluants : impact neutre
    • Existe-t-il une répartition uniforme du trafic ?

Une carte détaillée de chaque section d'un rapport d'expérience de conversion

En tant qu'utilisateur Convert, vous avez accès à des informations détaillées sur les performances de votre site Web via des rapports. Examinons en détail tous les éléments d'un rapport de conversion afin que vous puissiez comprendre exactement quelles informations sont présentées et comment les utiliser au mieux pour améliorer les performances de votre site Web.

Vous pouvez accéder aux rapports en sélectionnant l'expérience que vous souhaitez afficher et en cliquant sur l'onglet Rapport.

Vous pouvez accéder aux rapports en sélectionnant l'expérience que vous souhaitez afficher et en cliquant sur l'onglet Rapport

Dans cette section, vous verrez quatre sections différentes :

  • Menu principal
  • Sommaire
  • Variantes
  • Buts

➢ Menu principal

Le menu supérieur permet d'accéder rapidement aux informations suivantes :

  • Date de début : la date à laquelle l'expérience a commencé
  • Days Running : durée de l'expérience
  • Report Range : un filtre de date vous permet de filtrer les données pour une période de temps spécifique
  • Segment : filtrer le rapport par segments de visiteurs
  • Tous les utilisateurs testés : le nombre d'utilisateurs qui ont participé au test
  • Conversions totales : nombre total de conversions par objectif. Convert suit uniquement les conversions à objectif unique par visiteur unique. Consultez cette page pour les conversions d'objectifs multiples.
  • Goals : le nombre de buts qu'une expérience donnée a
Le menu du haut permet un accès rapide

Filtrer pour une plage de dates spécifique

Les données peuvent être filtrées pour une plage de dates spécifique à l'aide de la plage de rapport. Des plages de dates personnalisées peuvent être spécifiées à l'aide des choix existants ou du contrôle de calendrier.

Filtrer pour une plage de dates spécifique

Filtrer pour un segment spécifique

Vous pouvez filtrer le rapport par segments de visiteurs en les sélectionnant dans la liste déroulante "Tous les utilisateurs". Vous pouvez l'utiliser pour répondre à des questions telles que

  • Comment le trafic provenant de différentes sources s'est-il comporté dans l'expérience ?
  • Quelle a été la variante gagnante sur mobile par rapport au bureau ?
  • Quelle variante a attiré le plus de nouveaux utilisateurs ?

Vous devez cibler les audiences/segments qui comptent pour votre organisation et qui sont susceptibles de présenter une variété de comportements d'utilisateurs et de signaux d'intention.

Examinez les scores d'amélioration et de confiance pour chaque public afin de voir les performances de chaque variation. En fonction des résultats de votre analyse, vous pouvez décider de lancer la variante gagnante sur l'ensemble de votre trafic ou d'ajuster votre allocation.

Un rapport sur l'expérience Convert comprend les segments suivants :

  • navigateur utilisé,
  • appareil utilisé,
  • nouveaux vs anciens visiteurs,
  • pays utilisateur,
  • sources de trafic,
  • continent, et
  • 10 segments personnalisés.

Voici comment vous pouvez créer un segment personnalisé (audience).

Filtrer pour un segment spécifique

Vous pouvez également utiliser le menu à trois points et appliquer d'autres actions :

Vous pouvez également utiliser le menu à trois points et appliquer d'autres actions

Partager le rapport

Cliquer sur Partager le rapport ouvrira une fenêtre contextuelle avec les options suivantes pour télécharger les données d'expérience :

Cliquer sur Partager le rapport ouvrira une fenêtre contextuelle avec les options suivantes pour télécharger les données d'expérience

Afficher le code

Afficher le code est la deuxième option, qui vous donne accès à votre code de suivi Convert :

Afficher le code est la deuxième option, qui vous donne accès à votre code de suivi Convert

Paramètres de statistiques

La troisième option, Paramètres des statistiques, vous permet de configurer les éléments suivants :

  • Niveau de confiance (signification statistique) — décrit ici
  • Transactions aberrantes — décrites ici
  • Automatisations - décrites ici
  • Le bouton Réinitialiser les statistiques pour réinitialiser les données d'expérience
Paramètres de statistiques

Interrompre l'expérience

Une quatrième option vous permet de mettre l'expérience en pause.

➢ Résumé

Dans la section Résumé de votre rapport d'expérience Convert, vous trouverez un résumé des conditions de la zone du site et de l'audience qui s'appliquent à votre expérience. Il propose également quelques recommandations intelligentes :

Dans la section Résumé de votre rapport d'expérience Convert, vous trouverez un résumé des conditions de la zone du site et de l'audience.

Activer les recommandations intelligentes

Accédez à votre configuration de projet, plus de paramètres, pour activer les recommandations intelligentes :

Activer les recommandations intelligentes

Afficher les recommandations intelligentes

Vous pouvez afficher ces recommandations intelligentes à deux endroits.

  1. Dans le résumé du rapport :
Afficher les recommandations intelligentes Dans le résumé du rapport

Les messages suivants peuvent s'afficher en fonction de vos résultats :

  • Significatif & lift négatif : Nous observons que la variante ${variant_name} est la plus performante avec un lift négatif de ${lift}%. Le test pour l'objectif ${primary_goal_name} est significatif. Nous suggérons d'extraire les apprentissages et de concevoir une nouvelle hypothèse.
  • Ascension significative et positive : Félicitations ! Pour ${primary_goal_name}, ${variant_name} est actuellement gagnant avec une amélioration de ${lift} %. L'expérience est significative.
  • Ascension positive et insignifiante : davantage de visiteurs sont nécessaires pour tirer une conclusion valable pour ${primary_goal_name}. Nous voyons seulement que ${variant_name} est la plus performante avec une augmentation de ${lift} %, mais a besoin de plus de visiteurs avant qu'une conclusion définitive puisse être donnée.
  • Ascension négative insignifiante : davantage de visiteurs sont nécessaires pour tirer une conclusion valable pour ${primary_goal_name}. Veuillez poursuivre le test avant de pouvoir tirer une conclusion.
  1. Dans la zone développée Objectifs :

Voici quelques messages possibles que vous pouvez voir en fonction de vos résultats :

Afficher les recommandations intelligentes dans la zone développée Objectifs
  • Félicitations {variation.name} est un gagnant, nous en sommes sûrs avec une confiance statistique de 00 %.
  • Malheureusement, {variation.name} a moins bien performé que {baselineText}, nous en sommes sûrs avec une confiance statistique de 00 %.
  • {variation.name} semble être plus performant que {baselineText}, mais nous ne pouvons pas encore en être sûrs
  • Il est trop tôt pour juger de {variation.name}

Capture d'écran de base

Si vous survolez la capture d'écran de base, vous verrez quelques options supplémentaires :

  • Voir l'instantané en taille réelle
  • Aperçu de la variante
  • Reprendre l'instantané de variation
Si vous survolez la capture d'écran de base, vous verrez des options supplémentaires

Aperçu en direct et liens de variation de force

La variante de prévisualisation ouvrira une fenêtre contextuelle dans laquelle vous pourrez obtenir les URL de prévisualisation en direct et de variation forcée.

Aperçu en direct et liens de variation de force

➢ Variantes

Une section intitulée Variations fournit des détails sur les variations de votre expérience. Chaque colonne après la colonne Statut représente vos objectifs d'expérience :

Une section intitulée Variations fournit des détails sur les variations de votre expérience

Vous pouvez activer/désactiver les colonnes ou les réorganiser en cliquant sur le menu à trois points :

Vous pouvez activer/désactiver les colonnes ou les réorganiser en cliquant sur le menu à trois points

Avec le bouton d'état activé, vous pourrez mettre en pause les variantes :

Avec le bouton d'état activé, vous pourrez mettre en pause les variations

Certaines options supplémentaires sont disponibles lorsque vous cliquez sur le menu à trois points sur l'une des lignes de variantes :

  • Ouvrir l'URL de variation forcée
  • Arrêter la variation
  • Convertir en un nouveau déploiement
  • Convertir en original dans une nouvelle expérience
  • Modifier la variante
  • Aperçu en direct
Certaines options supplémentaires sont disponibles lorsque vous cliquez sur le menu à trois points sur l'une des lignes de variantes

➢ Objectifs

Une brève description de chacun des objectifs d'expérience se trouve dans cette section ainsi que quelques statistiques et graphiques intéressants que nous analyserons dans la section suivante. Avant de continuer, expliquons quelques termes que vous ne connaissez peut-être pas.

  • Objectif par défaut : Si vous voyez le terme Objectif par défaut à côté de l'un de vos objectifs, cela signifie qu'il s'agit de l'un des 2 objectifs par défaut que nous ajoutons à chaque expérience.
  • Objectif principal : Il ne peut y avoir qu'un seul objectif principal, qui doit être décidé par vous. C'est l'objectif le plus important pour votre expérience. Cela sera affiché en premier sur la liste des objectifs et le statut de l'expérience sera modifié en fonction de cela.
  • SRM : Discordance potentielle du rapport d'échantillonnage détectée sur votre test. Vérifiez la configuration de l'expérience ou contactez [email protected] si vous le remarquez.
  • Baseline : Il s'agit de votre base d'expérience par défaut.
Une brève description de chacun des objectifs d'expérience peut être trouvée dans cette section ainsi que quelques statistiques et graphiques intéressants.

Passons maintenant en revue chacun des éléments de ce rapport.

Nom de la variante

C'est le nom de votre variation. Il y a une case à cocher à côté que vous pouvez activer/désactiver afin d'afficher et de masquer les statistiques de variation.

Amélioration

Vous pouvez voir ici comment l'original et la variation de votre page Web se comportent en termes de taux de conversion. La différence en pourcentage peut être positive ou négative. Lorsque la confiance calculée est supérieure à la confiance définie dans les paramètres de statistiques, la couleur change comme suit :

  • Rouge pour –
  • Vert pour +
  • Gris pour les autres
Amélioration verte
Amélioration verte
Amélioration du rouge
Amélioration du rouge

Visiteurs

Il s'agit du nombre total de visiteurs regroupés pour l'expérience. Les visiteurs uniques sont répertoriés ici.

Conversions

Cela représente le nombre total de conversions pour chaque objectif/variante. Toute action souhaitée que vous souhaitez que l'utilisateur effectue est appelée conversion. Selon votre site Web, cela peut inclure tout, du clic sur un bouton à l'achat.

Taux de conversion

Cette colonne indique le pourcentage de visiteurs qui se sont transformés en conversions.

Niveau de confiance (signification statistique)

Lors de l'interprétation de vos résultats A/B, la signification statistique est le concept le plus important.

Cette colonne indique dans quelle mesure l'intervalle de confiance du taux de conversion pour la variation du test est différent de l'original. Si la confiance n'affiche aucun chiffre, c'est parce que (par défaut) il y a un minimum de 5 conversions d'objectifs nécessaires pour chaque variation afin de la calculer. Il doit également respecter le nombre minimum de visiteurs fixé pour chaque variante. Si vous avez modifié les conversions minimales, le minimum que vous avez sélectionné devra être atteint.

Cette colonne contient des points gris/vert qui indiquent :

  • 1 point vert pour une confiance de 75 % à 85 %
  • 2 points verts pour une confiance de 85 % à 95 %
  • 3 points verts pour une confiance de 95 % à 96 %
  • 4 points verts pour une confiance de 96 % à 97 %
  • 5 points verts pour 97 % et plus
2 points verts pour la signification statistique
2 points verts pour la signification statistique
Ensemble minimal de visiteurs et de conversions pour calculer la signification statistique
Ensemble minimal de visiteurs et de conversions pour calculer la signification statistique

Boîte à moustaches (intervalle de confiance)

La boîte à moustaches ou l'intervalle de confiance indique une plage de valeurs où se situe le taux de conversion réel.

Il est judicieux de montrer la différence observée dans la valeur du taux de conversion pour les pages d'origine et les variantes lors de la discussion des résultats, ainsi que la plage dans laquelle les taux de conversion peuvent réellement se situer. L'intervalle de différence est une plage possible de valeurs qui sont tracées sur une échelle de ligne numérique.

La plage de taux de conversion la plus élevée possible est marquée par la limite supérieure sur l'échelle des nombres, et la plage de taux de conversion la plus faible possible est marquée par la limite inférieure sur l'échelle des nombres.

Sur l'échelle, vous pouvez voir les couleurs suivantes :

  • Zone grise : indique que l'expérience n'est toujours pas concluante ou que des personnes supplémentaires sont nécessaires pour déclarer un résultat valide.
  • Une variation gagnante est indiquée par la couleur verte .
  • Une variance perdante est indiquée par la couleur rouge .
Boîte à moustaches verte
Boîte à moustaches verte
Boîte à moustaches rouge
Boîte à moustaches rouge

Dans la boîte à moustaches, surveillez le chevauchement entre les taux de conversion d'origine et de variation.

Supposons que les taux de conversion pour l'original ont un intervalle de confiance de 10 à 20 % et que les taux de conversion pour la variante 1 ont un intervalle de confiance de 15 à 25 %. Il convient de noter que le chevauchement entre les deux intervalles de confiance est de 5 % et qu'il se situe entre 15 et 20 %. Dans ce contexte, il est impossible de dire si la variation de B est réellement une amélioration majeure. C'est pourquoi, s'il y a un chevauchement des boîtes à moustaches, Convert ne déclarera pas un gagnant.

Statut

Cela vous montre un rapport d'état sur la variation.

Graphiques

De là, vous pouvez accéder à trois types de graphiques différents.

Vous trouverez ci-dessous une explication de chacun :

Groupe de graphiques
Groupe de graphiques
Conversions
Conversions
Conversions
  • Taux de conversion dans le temps : l'axe Y indique le taux de conversion, l'axe X indique le temps. Chaque ligne représente une variation (taux de conversion cumulé) + une pour le taux de conversion de l'ensemble de l'expérience (moyenne de toutes les variations) + un deuxième axe Y à droite qui représente le nombre cumulé de visiteurs à l'intérieur de l'ensemble de l'expérience
  • Conversions dans le temps : l'axe Y indique les conversions, l'axe X indique le temps. Chaque ligne représente une variation (conversions) + une pour les conversions de l'ensemble du test (conversions moyennes de toutes les variations) + un deuxième axe Y à droite qui représente le nombre cumulé de conversions dans l'ensemble du test.
  • Taux de conversion quotidien dans le temps : taux de conversion non cumulatif - similaire au graphique Taux de conversion dans le temps, sauf que l'axe Y n'affiche pas les visiteurs cumulés et que le non cumulatif est utilisé pour l'API.
  • Amélioration dans le temps : amélioration du taux de conversion par jour sur l'axe X et lignes à chaque variation (mais pas d'origine).
  • Visiteurs quotidiens au fil du temps
Des produits
Des produits
  • Produits par visiteur : moyenne cumulée des produits commandés par visiteur – l'axe Y montre la moyenne des produits commandés par visiteur, l'axe X montre le temps. Chaque ligne représente une variation (moyenne cumulée des produits commandés par visiteur) + une pour la moyenne des produits commandés par visiteur de l'ensemble de l'expérience (moyenne de toutes les variations) + un deuxième axe Y à droite qui représente le nombre cumulé de visiteurs dans l'ensemble de l'expérience .
  • Daily Products Per Visitor : moyenne non cumulée des produits commandés par visiteur
  • Amélioration dans le temps : amélioration des produits par jour sur l'axe X et lignes chaque variation (mais pas d'origine)
  • Visiteurs quotidiens au fil du temps
Revenu
Revenu
  • Revenu au fil du temps : revenu moyen cumulé par visiteur - l'axe Y indique le revenu moyen par visiteur, l'axe X indique le temps. Chaque ligne représente une variation (revenu moyen par visiteur) + une pour le revenu moyen par visiteur de l'ensemble de l'expérience (moyenne de toutes les variations) + un deuxième axe Y à droite qui représente le nombre cumulé de visiteurs dans l'ensemble de l'expérience
  • Daily Revenue Per Visitor : revenu moyen non cumulé par visiteur
  • Amélioration dans le temps : amélioration du chiffre d'affaires par jour sur l'axe des X et lignes à chaque variation (mais pas d'origine)
  • Visiteurs au fil du temps
Passez la souris sur le graphique

Passer la souris sur le graphique révélera le taux de conversion de chaque variation ce jour-là et le taux de conversion de la variation par rapport à l'original :

Passez la souris sur le graphique
Afficher l'écart type

Vous pouvez également cocher la case pour afficher l'écart-type (également appelé l'erreur standard) :

Afficher l'écart type

Les formules statistiques convertissent les utilisations

Remarque : les termes statistiques sont traités dans un autre blog , nous ne les répéterons donc pas ici. Notre but ici est de mentionner les formules mathématiques utilisées par Convert.

Convert utilise un test Z bilatéral fréquentiste à un niveau de confiance de 0,05 (95 %). C'est 0,025 pour chaque queue étant une distribution symétrique normale avec la possibilité de changer cela entre 80% et 99%.

Nous ajouterons bientôt des statistiques bayésiennes aux rapports de conversion. Restez à l'écoute pour plus d'informations.

Test Z
La source

Un test bilatéral doit être utilisé lorsque nous voulons trouver une différence statistiquement significative dans n'importe quelle direction (soulèvement ou baisse). L'objectif ici est de déterminer si la variation a entraîné une augmentation ou une diminution statistiquement significative des conversions.

Taux de conversion

Cette formule permet de calculer le taux de conversion pour chaque variation :

(Nombre total de conversions par objectif / Nombre de visiteurs uniques) * 100

Cette formule permet de calculer le taux de conversion pour chaque variation

Modification du taux de conversion pour les variantes

La variation en pourcentage du taux de conversion entre la variation d'expérience et l'original est calculée comme suit :

Modification du taux de conversion pour les variantes

Intervalles de confiance

Une méthode statistique de calcul d'un intervalle de confiance autour du taux de conversion est utilisée pour chaque variation.

L'erreur standard (pour 1 écart type) est calculée à l'aide de la méthode de Wald pour une distribution binomiale. Ainsi, pour un taux de conversion ( p ) et une taille d'échantillon (nombre de visiteurs uniques) donnés, l'erreur standard est calculée comme suit :

Intervalles de confiance

L'erreur standard est calculée à l'aide de cette formule, qui suppose que la distribution binomiale peut être approchée par une distribution normale (à cause du théorème central limite ). La distribution de l'échantillon peut être approchée avec une distribution normale lorsqu'il y a plus de 10 conversions sur l'objectif spécifique.

Pour déterminer l'intervalle de confiance du taux de conversion, multipliez l'erreur standard par le 95e centile d'une distribution normale standard (une valeur constante égale à 1,65).

En d'autres termes, vous pouvez être sûr à 90 % que votre véritable taux de conversion p se situe dans cette plage :

Pour une confiance de 95 %, utilisez p ± (1,96 * SE), tandis que pour une confiance de 99 %, utilisez p ±
Remarque : Pour une confiance de 95 % , utilisez p ± (1,96 * SE), tandis que pour une confiance de 99 %, utilisez p ± (2,575 * SE).

Score Z

À l'aide d'un Z-Score, nous pouvons déterminer si les résultats sont significatifs (c'est-à-dire que les taux de conversion ne diffèrent pas en raison d'une variation aléatoire) :

Score Z

Le score Z est le nombre d'écarts types entre les valeurs moyennes d'origine et de variation. À l'aide d'une distribution normale standard, la signification à 95 % est déterminée lorsque le nombre d'événements de vue est supérieur à 1 000 et que l'un des critères suivants est rempli :

  • Probabilité(ZScore) > 95%
  • Probabilité (ZScore) < 5 %

Amélioration

La probabilité d'être différent (affichée sur le rapport) est dérivée de la valeur de probabilité (z-score) où :

  • Si

    Probabilité(ZScore) <= 0,5

    alors
    Amélioration = 1- Probabilité (ZScore)
  • Si

    Probabilité(ZScore) > 0,5

    alors
    Amélioration = probabilité (ZScore)

Que rechercher lors de l'interprétation des rapports d'expérience

Maintenant que vous êtes familiarisé avec toutes les sections du rapport d'expérience Convert et ses formules statistiques, essayons d'interpréter quelques rapports d'expérience différents et voyons ce que vous pouvez en tirer.

Les données d'expérience sont-elles significatives ?

Avant d'évaluer les résultats et de porter un jugement sur ce qu'il faut faire ensuite, assurez-vous que les données d'expérience sont significatives. À l'aide du "Niveau de confiance" dans le rapport d'expérience Convert, vous pouvez déterminer si les résultats sont dus au hasard ou s'ils reflètent fidèlement le comportement de vos utilisateurs.

Un niveau de signification de 95 % signifie que vous êtes certain à 95 % que les conclusions observées ne sont pas le fruit du hasard. Cela implique également qu'il y a 5% de chances que vous vous trompiez.

Alternativement, vous pouvez considérer le niveau de confiance comme la probabilité d'obtenir des résultats différents si vous répétez l'expérience.

Si vous obtenez une cote de confiance de 90 %, il y a 1 chance sur 10 que vous obteniez des réponses différentes si vous répétez le test. Avec une confiance de 95 %, il y a une chance de 1 sur 20, alors qu'avec une confiance de 99 %, il y a une chance de 1 sur 100.

À l'aide du "Niveau de confiance" dans le rapport sur l'expérience de conversion, vous pouvez déterminer si les résultats sont dus au hasard ou s'ils reflètent fidèlement le comportement de vos utilisateurs.

Variante gagnante : impact positif

Voici un exemple d'une variation significative qui a surpassé l'original et a entraîné une amélioration positive.

Voici un exemple d'une variation significative qui a surpassé l'original et a entraîné une amélioration positive

Pour l'objectif « Personnaliser l'abonnement - Vue de la page de l'étape 1 », la variante 1 a 98,7 % de chances de battre la variante 0 (originale) dans cette expérience. La boîte à moustaches montre que la sélection de la variation 1 peut entraîner une amélioration par rapport à l'original de 13,73 % +- 0,6 %

La boîte à moustaches montre que la sélection de la variation 1 peut entraîner une amélioration par rapport à l'original de 13,73 % +- 0,6 %

Dans cette expérience, il est prudent de dire que l'amélioration est de +7,20 %, mais il y a une chance égale que le taux de conversion se situe entre 13,73 % + - 0,6 %. Quelle que soit la situation, la variante 1 s'améliorerait par rapport à l'original, c'est donc une indication forte pour l'implémenter !

Pourquoi?

Si la même expérience était répétée 10 000 fois dans des conditions identiques, la variante 1 gagnerait toujours 9 870 fois sur 10 000.

Variation perdante : impact négatif

Examinons de plus près les résultats d'une expérience significative dans laquelle la variation 1 n'entraîne pas d'amélioration positive mais a plutôt une influence négative sur le taux de conversion de la variation 0 (original).

Variation perdante : impact négatif

Dans cette expérience, il y a 98,87 % de chances que la variation 1 perde sur le taux de conversion par rapport à la variation 0. Un impact négatif sur le taux de conversion de l'original entre 4,5 % +- 1 % peut être attendu avec la variation 1.

Un impact négatif sur le taux de conversion de l'original entre 4,5 % +- 1 % peut être attendu avec la variation 1

Résultats non concluants : impact neutre

Examinons maintenant une expérience qui n'est pas significative. Dans l'expérience ci-dessous, aucune des variantes n'a une chance de gagner suffisamment élevée ou une probabilité supérieure à 95 %.

Résultats non concluants : impact neutre

La probabilité que la variante 1 l'emporte sur la variante 0 n'est que de 84,58 % dans cette expérience.

Quelle est la prochaine étape que vous pouvez franchir ?

Vous avez le choix entre plusieurs options, qui dépendent toutes de l'hypothèse et du but ultime de l'expérience. Quoi qu'il en soit, il y a toujours quelques options sur la table :

  • Élargissez votre audience. Si votre segment de visiteurs est trop limité, essayez de vous concentrer sur un segment avec un public plus large.
  • Supprimer certaines variantes. Si vous avez développé quatre variantes, par exemple, essayez d'exécuter la même expérience avec deux ou trois variantes.
  • Laissez-le fonctionner plus longtemps.
  • Suivez votre instinct et choisissez ce qui correspond le mieux à votre marque. Si les résultats sont similaires dans deux variantes et que vos collègues conviennent que l'une correspond mieux aux exigences de votre marque que l'autre, vous pouvez choisir d'en choisir une comme gagnante.
  • Relancez l'expérience. Exécuter deux fois le même test pour valider ou invalider les premiers résultats est une pratique intelligente. Étant donné que les circonstances sont peu susceptibles d'être les mêmes (période différente, fluctuations du trafic, etc. ), les résultats peuvent différer !
  • Laissez-le être. Il est possible que votre original soit déjà optimisé.

Existe-t-il une répartition uniforme du trafic ?

Lorsque vous configurez une expérience A/B, vous attribuez un pourcentage de trafic à chaque variante (par défaut, 50/50).

Lorsque vous configurez une expérience A/B, vous attribuez un pourcentage de trafic à chaque variante (par défaut, 50/50)

Le nombre de visiteurs doit représenter la répartition du trafic prévue.

Dans le cas d'une différence significative, il y a presque certainement une inadéquation du rapport d'échantillonnage (SRM)

Dans le cas d'une différence significative, il y a presque certainement une inadéquation du rapport d'échantillonnage (SRM)

Dans une répartition 50/50, si vous obtenez 400 visiteurs d'un côté et 600 de l'autre, les résultats ne sont pas fiables. Lorsque cela se produit, il est temps d'examiner la configuration de votre expérience A/B. Les résultats peuvent être faussés par des valeurs aberrantes telles que des adresses IP internes ou des bots externes.

N'oubliez pas que la qualité des données dépend de l'analyse que vous en faites. Profitez de tous les outils dont vous disposez, y compris les rapports détaillés de Convert Experiences, pour des informations précises et exploitables.

Si vous n'avez pas encore de compte, inscrivez-vous pour un essai gratuit et essayez-le pendant 15 jours. Vous aurez accès à toutes les fonctionnalités intéressantes dont nous avons parlé dans cet article, ainsi qu'à bien d'autres. Et si vous avez des questions ou avez besoin d'aide pour démarrer, notre équipe est là pour vous aider.