Qu’est-ce que la méthode d’A/B testing ? Il s’agit de comparer deux versions d’une même page web ou d’une application entre elles dans le but de déterminer la plus performante. Le principe de fonctionnement repose sur l’analyse statistique qui permet alors de définir quelle version est plus efficace selon l’objectif de conversion fixé. À quoi sert précisément l’A/B testing ? Dans quels cas particuliers l’appliquer ? Et pour quels résultats ? Tour d’horizon.
À qui s’adresse plus particulièrement l’A/B testing ? La méthode est principalement utilisée au sein des directions marketing des entreprises de toutes tailles, et de tous secteurs, en tant que technique d’optimisation du taux de conversion (Conversion Rate Optimization – CRO). Toutefois, la méthodologie n’est pas sans poser problème : en effet, les limites des analyses statistiques utilisées se retranscrivent sous forme de limites marketing.
Pour mieux comprendre, il est important de plonger dans les subtilités de l’A/B testing.
Le graal des spécialistes marketing : les décisions business basées sur l’A/B testing
Pour les directeurs Marketing, la prise de décisions a pour objectif d’accroître le chiffre d’affaires. Résultat, une majorité d’entre eux se creusent la tête pour répondre à ces questions :
- Est-il nécessaire de diminuer le prix pour vendre plus ?
- Ou, au contraire, les augmenter pour améliorer le panier moyen, au risque d’obtenir un taux de conversion inférieur ?
- Les produits doivent-ils être classés par ordre de prix croissants ? Ou décroissants ?
- Devez-vous élargir votre gamme de produits ou la restreindre ? Ou les deux ? Ou ne rien changer ?
- Les promos de type « 3 produits achetés pour le prix de 2 » sont-elles un bon moyen d’augmenter votre panier moyen ?
- Est-il préférable de proposer la livraison gratuite sans condition de dépenses ou à partir d’une certaine valeur de panier ?
Et si vous pouviez tester vos hypothèses business pour prendre la bonne décision ?
Malheureusement, les analyses statistiques utilisées aujourd’hui sont très limitées en termes d’interprétation des résultats.
Le principe de base de l’A/B testing
Pour rappel, le test consiste à exposer deux variantes de la même page (nommées A et B) à deux populations homogènes en séparant de façon aléatoire les visiteurs du site. Pour chaque variation, les donnés suivantes sont collectées :
- Le nombre de visiteurs
- Le nombre d’achats
- La valeur du panier d’achat
Sur le papier, il devrait être relativement simple de définir quelle variation a généré le plus de revenus et, par conséquent, de déterminer quelle version est la plus performante. Néanmoins, comme n’importe quelle expérience sur le comportement humain, les données sont soumises au hasard. Résultat : si la variation B génère un panier moyen plus important que la variation A, cela ne signifie pas pour autant que B sera toujours meilleur que A.
La raison ? Difficile d’affirmer que la différence observée pendant un test sera répétée dans le futur. Voilà pourquoi les outils d’A/B testing utilisent des analyses statistiques pour qualifier les différences observées et identifier la variation la plus pertinente. Objectif : aider à séparer les données significatives des fluctuations aléatoires et imprévisibles qui ne sont pas corrélées aux différences entre les variations.
« Le problème, c’est le choix »
En e-commerce, la variation B peut être considérée comme la meilleure si elle génère :
- Un gain de conversions : la variation amène à convertir plus d’achats
- Un gain au niveau du panier d’achat moyen : le panier moyen de la variation B est supérieur à celui de la variation A
- Un gain « mixte » : la variation B génère à la fois plus de conversions et un panier moyen plus élevé
Le gain de conversions
C’est la donnée la plus simple à analyser dans la méthode d’A/B testing. L’outil statistique utilisé : le test Bayésien. La caractéristique fonctionnelle la plus importante de ce test repose sur l’intervalle de confiance du gain de conversion mesuré.
Par exemple : on peut dire que la variation B produit un gain de 5 à 10 % – ce qui signifie que la variation B générerait entre 5 et 10 % d’achats supplémentaires par rapport à la variation A. Dans ce cas, il est facile de déterminer que la variation B est plus performante. Vous pouvez alors la valider en tant que « meilleure variation » et la proposer à l’ensemble de votre audience…
… Mais est-ce vraiment suffisant pour définir de façon définitive quelle est la variation la plus pertinente ? C’est ce que nous allons voir dans la suite de cet article.
Le gain de panier moyen
Cet indicateur est bien plus complexe à analyser. Les outils d’A/B testing utilisent le test Mann-Whitney U, également appelé Wilcoxon. Contrairement au test Bayésien, cette analyse ne fournit qu’une simple probabilité de gain sans préciser l’importance du gain. Par exemple, vous mesurez une différence de +5€ dans le panier moyen relatif à la variation B, ainsi qu’une probabilité de gain (donné par le test Mann-Whitney) à 98 %. Vous pourriez croire que ce gain de 5€ est sûr à 98 %, mais en réalité, il se peut que vous n’obteniez qu’un gain de +0,1€. L’analyse statistique a toujours raison : c’est un gain ! C’est simplement que le test Mann-Whitney ne prédit que l’existence du gain, pas de quel montant il sera !
Mais le pire est qu’une variation « gagnante » en termes de taille de panier moyen selon le test de Mann-Whitney pourrait en réalité générer moins de revenus, en raison de la présence de valeurs extrêmes qui faussent l’analyse. Comment l’éviter ? Une option pourrait être de supprimer ces valeurs avant d’analyser les résultats. Toutefois, il est à noter que cette solution n’en reste pas moins inévitablement biaisée : la variation la plus performante ne dépend que de la ligne « valeurs extrêmes » que vous aurez artificiellement définies.
Le gain mixte
Le moyen le plus efficace d’identifier la meilleure variation est de déterminer un gain significatif à la fois en termes de conversion et de panier moyen. En réalité, c’est même le seul cas où une décision peut être prise sans le moindre doute !
- Vous observez un certain gain de conversion mais une perte de panier moyen → impossible de prendre une décision avisée car vous ne connaissez pas le montant de la perte, et ignorez si le gain obtenu va compenser cette perte.
- L’analyse démontre une perte de conversions et un gain dans le panier d’achat moyen → même constat.
- Perte ou gain indéfini dans le panier moyen → si vous ne connaissez pas l’évolution du panier moyen, impossible d’être sûr de la pertinence de la variation.
Ce dernier scénario représente la situation le plus courante. En effet, les statistiques liées au panier moyen nécessitent généralement plus d’informations que le taux de conversion afin de proposer une analyse pertinente.
Comme vous pouvez le constater, la majorité de tests A/B concluent à la certitude d’un gain de conversion. Mais sans information sur l’évolution du panier moyen, ces conclusions doivent être remises en question. On pourrait alors argumenter que c’est la raison pour laquelle on parle « d’optimisation du taux de conversion » plutôt que « d’optimisation business ».
Faut-il alors en conclure que l’A/B testing ne sert à rien ? Heureusement non ! Aujourd’hui, la plupart des tests A/B se concentrent sur l’expérience utilisateur, l’interface utilisateur et le design : couleurs, formulation, visuels, mise en pages d’un produit… En marketing, on parle de « réduire la friction du parcours d’achat », en d’autres termes, limiter le nombre de visiteurs insatisfaits et qui quittent le site sans avoir effectué le moindre achat.
Mais pour pouvoir aller plus loin que les tests basés sur l’ergonomie et s’attaquer aux vraies questions de marketing, nous avons besoin d’inventer le prochain test Mann-Whitney qui sera capable d’estimer la taille du gain ou de la perte générée par l’expérimentation. Voilà qui donnera définitivement un second souffle à l’A/B testing.
Revoir l’intervention de notre Chief Data Scientist, Hubert Wassner, et d’Aurélie Bastian, Manager Web Analytics et Conversion de Sutter Mills, à l’occasion de Digital Innovation 2019.
