Guide complet de l'A/B testing
Introduction
L’optimisation des conversions et l’A/B testing sont des axes d’amélioration de la rentabilité pour les entreprises, avec une promesse simple : générer plus de revenus à trafic constant. Avec des coûts d’acquisition élevés et des sources de trafic complexes, pourquoi ne pas commencer par tirer le maximum de son trafic actuel ?
L’A/B testing est essentiel pour les sites ecommerce comme Amazon qui teste en continu pour améliorer l’UX et la conversion.
Pourtant, le taux de conversion moyen des e-commerçants continue de s’établir entre 1 et 3 %. Pourquoi ? Parce ce que la conversion est un mécanisme complexe qui fait intervenir de nombreux éléments tels que la qualité du trafic généré, l’expérience utilisateur, la qualité de l’offre, la réputation du site web, ou encore les actions de la concurrence.
Autant d’éléments qui peuvent constituer des frictions que le marchand va chercher à minimiser. Pour atteindre cet objectif, de nombreux outils sont disponibles, dont l’A/B testing, une discipline qui se sert de la donnée pour vous aider à prendre de meilleures décisions. Ce guide vous explique, en détails, comment faire de l’A/B testing.
Qu’est-ce que l’A/B testing ?
L’A/B testing consiste à comparer deux versions d’une page web ou d’une application afin de vérifier laquelle est la plus performante. Ces variations, dénommées A et B, sont présentées de manières aléatoires aux utilisateurs. Une partie d’entre eux sera alors dirigée vers la première version tandis que l’autre sera affectée à la seconde.
L’A/B testing consiste à comparer les performances de 2 versions d’une page web
Une analyse statistique permet par la suite de tester l’efficacité de la version A et B sur différents indicateurs comme le taux de conversion. En d’autres termes, vous pouvez vérifier quelle version déclenche le plus de clics, d’abonnements, d’achats… Les résultats permettent alors de déterminer la meilleure stratégie marketing à adopter.
Plus d’articles sur l’A/B testing
Les origines de l’A/B testing
Quels sites sont concernés par l’A/B testing ?
Lead
On parle de « leads » pour désigner des pistes commerciales, autrement dit des prospects clients. Cela peut notamment comprendre des mails envoyés dans l’idée de booster ses ventes. Dans ce cas, l’A/B testing intervient sur la nature des personnes contactées : leur sexe ou leur tranche d’âge, par exemple.
Média
E-commerce
Quels types de tests A/B utiliser ?
- Test A/B classique. L’A/B test classique présente aux internautes deux variations de vos pages sur une même URL. Ainsi, vous pouvez comparer deux ou plusieurs variations d’un même élément.
- Split tests ou tests par redirection. Le split test redirige quant à lui votre trafic vers une ou plusieurs URL distinctes. Si vous hébergez de nouvelles pages sur votre serveur, cela apparaît intéressant.
- Tests multivariés ou tests MVT. Enfin, le test multivarié ou test MVT est un test qui permet de mesurer l’impact de plusieurs changements sur une même page web. Par exemple, vous pouvez modifier votre bannière, la couleur de votre texte, votre présentation… Le test vous offre alors la possibilité de vérifier quelle combinaison est la plus performante. Vous pouvez consulter notre article sur les avantages et inconvénients des tests multivariés.
- A/B tester sur sites Web . L’A/B testing pour le web permet de comparer une version A et une version B d’une page web. Après quoi, les résultats sont analysés en fonction des objectifs préalablement définis : clics, achats, abonnements…
- A/B tester pour applications mobiles natives iPhone ou Android. L’A/B testing est plus complexe pour une application. En effet, vous ne pouvez pas présenter deux versions différentes une fois l’application téléchargée et hébergée sur un smartphone. Par conséquent, de nombreux outils ont été mis en place pour vous permettre de mettre à jour instantanément votre application. Vous pouvez donc modifier votre design aisément et analyser l’impact direct de ce changement.
- A/B tester côté serveur via des API. Une API est une interface de programmation qui permet de se connecter à une application pour échanger des données. Les API vous permettent de créer automatiquement des campagnes ou des vaiations à partir des données enregistrées.

L’A/B testing concerne tous les devices et tous les types de sites ou applications.
L'A/B testing et l'optimisation des conversions
- Données web analytics. Si ces données n’expliquent pas le comportement des internautes, elles permettent de mettre en évidence des problèmes de conversion (ex. : identification des abandons de panier). Elles servent également à prioriser les pages à tester.
- Audit ergonomique. Ces analyses permettent d’appréhender à moindre coût l’expérience du site du point de vue de l’utilisateur.
- Tests utilisateurs. Ces données qualitatives sont limitées par la taille de l’échantillon, mais peuvent se révéler très riches en informations qui n’auraient pas été décelées avec des méthodes quantitatives.
- Heatmap et session recording. Ces méthodes apportent de la visibilité sur la façon dont les internautes interagissent avec les éléments au sein d’une page ou entre les pages.
- Feedbacks clients. Les entreprises collectent de nombreux retours de la part de leurs clients (ex. : avis déposés sur le site, questions posées au service client). Leur analyse peut être complétée par des outils tels que des enquêtes clients ou encore des live chats.
Web Analytics
|
Heatmaps![]() ![]() ![]() |
Session Recording![]() ![]() ![]() ![]() |
Live Chat![]() ![]() ![]() ![]() |
Tests Utilisateurs![]() ![]() ![]() |
User Feedback![]() ![]() ![]() ![]() |
Comment trouver des idées de tests A/B ?
Vos tests A/B doivent être alimenté par d’autres informations pour identifier les problèmes de conversion et comprendre le comportement des internautes. Cette phase d’analyse est critique et doit aboutir à la formulation d’hypothèses « fortes ». Les outils cités ci-dessus et les disciplines associées vous y aideront. Une hypothèse correctement formulée est le premier pas vers le succès de votre stratégie d’A/B testing et doit respecter les règles suivantes :
- elle doit être liée à un problème clairement identifié et dont les causes sont pressenties,
- elle doit mentionner une solution possible au dit problème,
- elle doit indiquer le résultat attendu, lequel est directement lié au KPI à mesurer.
Par exemple, si le problème identifié est un taux d’abandon élevé sur un formulaire d’inscription, lequel est supposé être trop long, une hypothèse pourrait être : « Raccourcir le formulaire en supprimant les champs facultatifs augmentera le nombre de contacts collectés ».
Utilisez toutes les solutions de l’A/B testing pour identifier les freins de vos utilisateurs
Plus d’articles sur formuler des hypothèses de tests
Quels éléments tester sur son site web ?
Que tester sur son site ? Cette question est récurrente et directement liée au fait que les entreprises ne savent pas expliquer leur taux de conversion, bon ou mauvais. Si une entreprise savait que les internautes ne comprennent pas son produit, elle ne chercherait pas en priorité à tester l’emplacement ou la couleur de son bouton d’ajout au panier. Elle testerait plutôt différentes formulations de ses bénéfices clients. Chaque cas est donc différent. Plutôt que de vous donner une liste exhaustive d’éléments à tester, nous préférons vous donner un framework pour identifier les éléments pertinents à tester. Voici aussi quelques pistes de réflexion intéressantes.
Intitulés et titresVous pouvez commencer par changer le titre de vos articles ou le contenu pour vérifier ce qui apparaît le plus accrocheur. Concernant la forme, un changement de couleur ou de police pourrait également changer la donne. | Call to actionLe call to action est un bouton très important. La couleur, l’écriture, l’emplacement et les mots utilisés (acheter, ajouter au panier, commander…) peuvent avoir un impact déterminant sur votre taux de conversion. |
BoutonsLes autres boutons peuvent également jouer un rôle déterminant. Pensez à modifier leur taille (petit, grand…), leur forme (carré, rond…) et leur couleur (noir, blanc, coloré) pour attirer davantage les visiteurs. | ImagesLes images sont tout aussi importantes que le texte. Il est recommandé d’essayer différentes images. Par exemple, si vous tenez un e-commerce en prêt-à-porter, vérifiez si les photos des articles portés sont plus populaires que celles des articles mis à plat. Jouez également sur la taille et l’esthétique de vos photos (teinte, saturation, luminosité…), mais aussi sur l’emplacement (à droite, à gauche, en haut, en bas). |
Structure de pagesLa structure de vos pages doit être particulièrement travaillée, qu’il s’agisse de votre page d’accueil ou de vos différentes catégories. Vous pouvez ajouter un carrousel, choisir des images fixes, changer votre bannière, présenter quelques produits phares en accueil… | AlgorithmesUtilisez différents algorithmes pour transformer vos visiteurs en acheteurs ou augmenter leur panier : articles similaires, produits les plus recherchés… Vous pouvez suggérer à vos clients potentiels ce qui est susceptible de les intéresser. |
Business modelRepensez votre plan d’action pour générer davantage de bénéfices. Par exemple, si vous réalisez de la vente de marchandises ciblées, pourquoi ne pas vous diversifier en proposant d’autres produits ou des services complémentaires ? | FormulairesIl est important de créer un formulaire clair et concis. Vous pouvez tester la modification du libellé des champs, la suppression de champs facultatifs, le changement de place des champs, la disposition en ligne ou en colonne… |
PricingL’A/B testing sur le prix est assez délicat. En effet, vous ne pouvez pas vendre le même produit ou le même service pour un coût différent. Vous devez donc user d’un peu d’ingéniosité pour tester votre taux de conversion. Par exemple, si vous proposez des prestations de service, vous pouvez créer une offre économique avec moins d’options. Si vous vendez des produits, proposez une couleur, une forme ou une matière différente. | NavigationVous pouvez tester différents enchaînements de pages en proposant plusieurs tunnels de conversion en une ou plusieurs parties. Par exemple, vous pouvez mettre le mode de paiement ainsi que les informations relatives à la livraison sur une page unique ou les séparer en deux pages.Understanding A/B testing statistics |
Comment mettre en place un test A/B ?
Mettre en place une équipe projet
Prioriser les tests à mener
- Gain estimé. Pour ce faire, vous devez analyser le potentiel de vos solutions. Quel est le gain estimé ? Quelles sont vos chances d’augmenter votre taux de conversion ? En étudiant vos données, vous pourrez rapidement reconnaître les pages présentant un fort potentiel de reconversion (taux de sortie élevé, durée de connexion limitée…)
- Volumétrie sur la page. Il est également important de mettre en avant les pages attirant le plus de trafic. Si le nombre de vos visiteurs est restreint, l’impact de votre A/B testing sera difficilement constatable. De plus, il est préférable d’effectuer un seul changement à la fois au lieu de se lancer dans des tests impliquant trop de modifications.
- Facilité d’implantation. Pour prioriser les tests, vous pouvez également examiner la facilité d’implantation des hypothèses envisagées. Plus une solution est simple (évolutions graphiques faciles, compétences techniques faibles…), moins elle demandera de ressources.
Mettre en place les tests
Analyser les résultats des tests
Documenter les tests menés
- le nom du test,
- la période du test,
- l’hypothèse testée,
- une description des variations mises en place (captures d’écran à l’appui),
- les résultats et les enseignements du test,
- le gain monétaire potentiel sur une année suite.
Implémenter les versions gagnantes
Diffuser les résultats des tests
Tester en permanence
Comment analyser les résultats d’un test A/B ?
Objectifs primaires et secondaires
L’analyse des résultats dépend des objectifs définis en amont et des indicateurs correspondants. Si rien n’empêche de mesurer plusieurs données durant un test, il est important d’identifier un indicateur prioritaire pour départager les variations. Il n’est pas rare, en effet, de voir des tests produire des effets contraires sur deux indicateurs (ex. : hausse du nombre d’achats, mais baisse du panier moyen). Les objectifs primaires correspondent à ce qui a motivé votre test : inscriptions, commandes, abonnements… Les objectifs secondaires vous donneront quant à eux des indications supplémentaires sur le comportement de vos visiteurs (taux de rebonds, durée de connexion…). Ils vous permettent ainsi d’affiner vos modifications en vue d’un meilleur taux de conversion.
Savoir analyser les résultats d’un test est critique pour prendre les bonnes décisions.
Comprendre les statistiques d’un A/B Test
La principale contrainte avant de pouvoir analyser les résultats d’un test est d’obtenir un niveau de confiance statistique suffisant. Le seuil de 95 % est généralement retenu. Celui-ci signifie que la probabilité que les différences de résultats entre variations soient dues au hasard est très faible. Le temps nécessaire pour atteindre ce seuil varie largement en fonction du trafic du site et des pages testées, du taux de conversion initial de l’objectif mesuré et de l’impact des modifications apportées. Il peut aller de quelques jours à plusieurs semaines. Pour les sites à faible trafic, il est donc conseillé de tester une page à fort trafic. Tant que ce seuil n’est pas atteint, il est inutile de tirer des conclusions. Par ailleurs, les tests statistiques utilisés pour calculer ce seuil de confiance (comme le test du Khi-Deux) sont fondés sur une taille d’échantillon approchant l’infini. Dans le cas où la taille de l’échantillon est faible, il faut être prudent dans l’analyse des résultats quand bien même le test indiquerait une fiabilité d’au moins 95 %. Avec une taille de l’échantillon faible, il est possible qu’en laissant le test actif quelques jours de plus, les résultats soient profondément modifiés. C’est pourquoi il est conseillé d’avoir un échantillon d’une taille suffisante. Il existe des méthodes scientifiques pour calculer la taille de cet échantillon (utilisez notre calculatrice de taille d’échantillon) mais, de façon pratique, il est conseillé d’avoir un échantillon d’au moins 5 000 visiteurs et 75 conversions enregistrées par variation. Si votre site a peu de visiteurs, nous vous conseillons de lire notre article sur comment A/B tester avec peu de trafic. Il existe deux types de tests statistiques :- Tests Fréquentistes. La méthode Khi2 ou méthode fréquentiste est objective. Elle permet d’analyser les résultats uniquement à la fin de votre test. Cette étude est donc basée sur l’observation, avec une fiabilité de 95%.
- Tests Bayésiens. La méthode bayésienne est quant à elle déductive. En s’intéressant aux lois de probabilités, elle vous permet d’analyser les résultats avant la fin du test. Attention cependant à bien lire l’intervalle de confiance. Consultez notre article dédié pour tous savoir des avantages de l’approche bayésienne en A/B testing.
Autres articles sur les statistiques pour l’A/B testing
Conseils et bonnes pratiques de l'A/B testing
S’assurer de la fiabilité des données de la solution d’A/B testing
Recetter le test avant de le lancer
Tester une seule variable à la fois
Mener un seul test à la fois
Pour les mêmes raisons que précédemment, il est conseillé de mener un seul test à la fois. Les résultats seront difficiles à interpréter si deux tests se déroulent en parallèle, qui plus est sur la même page.
Adapter le nombre de variations à la volumétrie
S’il y a beaucoup de variations pour peu de trafic, le test va durer très longtemps avant de donner des résultats probants. Plus le trafic alloué au test est faible, moins il doit y avoir de versions différentes.
Attendre d'avoir une fiabilité statistique avant d'agir
Tant que le test n’a pas atteint une fiabilité statistique d’au moins 95 %, il est déconseillé de prendre la moindre décision. La probabilité que les différences de résultats observées soient liées au hasard et non aux modifications apportées est trop importante dans le cas contraire.
Laisser un test tourner suffisamment
Même si un test démontre rapidement une fiabilité statistique, il faut tenir compte de la taille de l’échantillon et des différences de comportement liées au jour de la semaine. Il est conseillé de laisser un test se dérouler au moins une semaine, deux idéalement, et d’avoir enregistré au moins 5 000 visiteurs et 75 conversions par version.
Savoir mettre fin à un test
Si un test met trop de temps à atteindre un taux de fiabilité de 95 %, il est probable que l’élément testé n’ait pas impact sur l’indicateur mesuré. Il ne sert à rien de prolonger le test car cela monopolise inutilement une partie du trafic qui pourrait être utilisée pour un autre test.
Mesurer les multiple indicators
Prendre connaissance des actions marketing durant un test
Segmenter les tests
Dans certains cas, mener un test sur l’ensemble des internautes d’un site n’a pas de sens. Si un test vise à mesurer l’impact de différentes formulations d’avantages clients sur le taux d’inscription au site, soumettre la base actuelle d’inscrits ne présente pas d’intérêt. Il faut alors cibler le test sur les nouveaux visiteurs.
Plus d’articles sur les bonnes pratiques et les pièges à éviter
- Les 8 erreurs à ne pas commettre en A/B testing
- Les 10 incontournables pour réussir vos tests A/B
- 6 manières de tester qui n’aboutiront jamais
Exemples de tests A/B
Vous êtes nombreux à chercher des idées pour vos prochains A/B tests. Si vous avez lu les chapitres précédents, vous savez qu’il n’y a pas de recette miracles et que tous les cas d’école sont spécifiques à chaque site. Mais, comme vous ne pouvez pas vous en empêcher, voici quelques liens vers de nombreux exemples.
Plus d’exemples de tests A/B et de résultats
Choisir une plateforme d'A/B testing
Nous ne saurions que vous recommander d’utiliser AB Tasty. En plus d’une solution d’A/B Testing, AB Tasty propose une suite d’outils pour optimiser vos conversions. Vous pouvez analyser le comportement de vos internautes grâce au heatmap et au session recording (aussi appelé user session replay). Vous pouvez aussi personnaliser votre site web sur de nombreux critères de ciblage et segmentation d’audience.
Mais pour être exhaustif et vous donner toutes les clés pour bien choisir, voici quelques articles pour vous aider à choisir votre outil d’A/B testing.
Articles recommandés
Les autres formes d'A/B testing
L’A/B testing ne se limite pas à la modification des pages de votre site. Vous pouvez appliquer le concept à toutes vos activités marketing, comme l’acquisition de trafic via vos campagnes d’emailing, vos campagnes Adwords, Facebook Ads, et bien plus encore.
Ressources pour A/B tester autrement
Les meilleurs blogs sur l'A/B testing et le CRO
Nous vous recommandons bien évidemment la lecture de notre propre blog mais d’autres experts de l’optimisation à l’international publient également de très bons articles sur le sujet de l’A/B testing et de la conversion au sens large. Voici notre sélection pour rester à jour sur l’actualité CRO et faire votre veille.
Les blogs à mettre dans vos favoris
- HubSpot Blogs
- KISSmetrics
- Unbounce
- CXL
- Bryan Eisenberg
- MarketingExperiments
- Conversion Rate Experts
- Invesp Blog
- Wider Funnel
- The Conversion Scientist
- Wunderkind
- Moz
- SiteTuners
- Conversioner
- The Daily Egg
- WordStream
- Funnel Science
- Conversion Conference
Pour maintenir à jour votre veille sur l’actualité de la conversion, vous pouvez aussi vous servir de Twitter, les experts sont presque tous présents sur ce réseau social.
Les influenceurs sur les thèmes de l’A/B testing et de l’optimisation des conversions
- Chris Goward – @chrisgoward
- Kissmetrics – @Kissmetrics
- Unbounce – @unbounce
- Peep Laja – @peeplaja
- Bryan Eisenberg – @TheGrok
- Oli Gardner – @oligardner
- Rand Fishkin – @randfish
- Nelio – @NelioSoft
- UserTesting – @usertesting
- Michael Aagaard – @ContentVerve
- Roger Dooley – @rogerdooley
- MoreVisibility – @MoreVisibility
- WiderFunnel – @WiderFunnel
- Brian Massey – @bmassey
- invesp – @invesp
- Moz – @Moz
- SiteTuners – @SiteTuners
- Tim Ash – @tim_ash
- Conversioner – @Conversioner_
- Uptilab – @uptilab
- Theo van der Zee – @theovdzee
- Scott Brinker – @chiefmartec
- Venture Harbour – @VentureHarbour
- PPC Hero – @ppchero
- WordStream – @WordStream
- MarketingExperiments – @MktgExperiments
with AB Tasty
Tous les outils dont vous avez besoin pour optimiser vos taux de conversion, sur une seule et même plateforme.
Obtenez une visite guidée et personnalisée de notre plateforme