Article

5min lecture

Avantages et inconvénients des tests multivariés

Lors d’un test A/B, vous ne devez modifier qu’un seul Ă©lĂ©ment Ă  la fois (ex : le libellĂ© d’un bouton d’action) pour ĂŞtre en mesure d’en dĂ©terminer l’impact. Si vous modifiez simultanĂ©ment le libellĂ© et la couleur de ce bouton (ex : bouton « Acheter » bleu vs bouton « En profiter » rouge) et constatez une amĂ©lioration, comment savoir qui du libellĂ© ou de la couleur a rĂ©ellement contribuĂ© Ă  cette performance ? L’apport de l’un est peut-ĂŞtre nĂ©gligeable ou les 2 ont peut-ĂŞtre contribuĂ© Ă  parts Ă©gales.

Intérêts des tests multivariés

Un test multivarié vise à répondre à cette question. Avec ce type d’expérimentation, vous testez une hypothèse pour laquelle plusieurs variables sont modifiées et déterminez quelle est la meilleure combinaison parmi toutes celles possibles. Si vous modifiez 2 variables et que chacune comporte 3 déclinaisons, vous avez donc 9 combinaisons à départager (nombre de variantes de la première variable X nombre de déclinaisons de la seconde).

L’intérêt d’un test multivarié est triple :

  • Ă©viter d’avoir Ă  mener de manière sĂ©quentielle plusieurs tests A/B et vous faire gagner du temps puisqu’on peut voir un test multivariĂ© comme plusieurs tests A/B menĂ©s simultanĂ©ment sur la mĂŞme page,
  • dĂ©terminer l’apport de chaque variable dans les gains mesurĂ©s,
  • mesurer les effets d’interaction entre plusieurs Ă©lĂ©ments supposĂ©s indĂ©pendants (ex : titre de la page et visuel d’illustration).

Typologie de tests multivariés

Il existe 2 grandes méthodes pour mener des tests multivariés :

  • « Full Factorial » : il s’agit de la mĂ©thode Ă  laquelle on fait gĂ©nĂ©ralement rĂ©fĂ©rence lorsqu’on parle de tests multivariĂ©s. Avec cette mĂ©thode, toutes les combinaisons de variables sont designĂ©es et testĂ©es sur une part Ă©quivalente de votre trafic. Si vous testez 2 variantes pour un Ă©lĂ©ment et 3 variantes pour un autre, chacune des 6 combinaisons sera donc affectĂ©e Ă  16,66 % de votre trafic.
  • « Fractional Factorial » : comme son nom le suggère, seule une fraction de toutes les combinaisons est effectivement soumis Ă  votre trafic. Le taux de conversion des combinaisons non testĂ©es est dĂ©duit de manière statistique en se basant sur celui de celles rĂ©ellement testĂ©es. Cette mĂ©thode a l’inconvĂ©nient d’être moins prĂ©cise mais de nĂ©cessiter moins de trafic.

Si les tests multivariés semblent être la panacée, il faut avoir conscience de plusieurs limites qui, dans la pratique, en réduisent l’attrait à des cas de figure spécifiques.

Limites des tests multivariés

La 1ère limite concerne le volume de visiteurs à soumettre à votre test pour obtenir des résultats exploitables. En multipliant le nombre de variables et de déclinaisons testées, vous atteignez rapidement un nombre de combinaisons important. Mécaniquement l’échantillon affecté à chaque combinaison sera réduit. Si pour un test A/B classique, vous attribuez 50 % de votre trafic à l’original et à la variation, vous n’allez attribuer que 5, 10 ou 15 % de votre trafic à chaque combinaison lors d’un test multivarié. Dans la pratique, cela se traduit bien souvent par des tests plus longs et une incapacité à atteindre la fiabilité statistique nécessaire à la prise de décision. C’est d’autant plus vrai si vous testez des pages profondes au trafic plus faible, ce qui est souvent le cas si vous testez des tunnels de commandes ou des landing pages de campagnes d’acquisition de trafic.

Le 2ème inconvénient est lié à la façon dont le test multivarié est envisagé. Dans certains cas, il est le résultat d’un aveu de faiblesse : les utilisateurs ne savent pas précisément quoi tester et pensent qu’en testant plusieurs choses à la fois, ils trouveront forcément une piste à exploiter. On retrouve ainsi souvent de petites modifications à l’œuvre durant ces tests. L’A/B testing, à l’inverse, impose une plus grande rigueur et de mieux identifier ses hypothèses de tests, ce qui amène généralement à des tests plus créatifs, appuyés par des données, avec de meilleurs résultats.

Le 3ème inconvénient est lié à la complexité. Mener un test A/B est bien plus simple, surtout dans l’analyse des résultats. Vous n’avez pas besoin de vous imposer une gymnastique complexe de l’esprit pour essayer de comprendre pourquoi tel élément interagit positivement avec tel autre dans un cas et pas dans un autre. Garder un process simple et rapide à exécuter permet d’être plus confiant et de réitérer rapidement ses idées d’optimisation.

Conclusion

Si sur le papier, les tests multivariés sont attirants, on ne peut que constater que mener des tests trop longtemps avec une forte incertitude sur l’obtention d’une fiabilité statistique représente un coût d’opportunité qui limite son intérêt. Pour obtenir des résultats exploitables et sur lesquels rapidement acter, mieux vaut s’en tenir à 90 % des cas à des tests A/B classiques (ou A/B/C/D). C’est d’ailleurs le ratio constaté parmi nos clients, y compris chez ceux ayant une audience de plusieurs centaines de milliers voire millions de visiteurs. Les 10 % restants sont plus réservés aux tests de « fine-tuning » quand vous avez êtes à l’aise avec la pratique du testing, avez obtenu des gains significatifs grâce à vos tests A/B et cherchez à dépasser certains seuils de conversion ou à gagner quelques incréments.

Enfin, il est toujours utile de rappeler que, plus que la typologie de tests (A/B vs multivariés), c’est bien la qualité de vos hypothèses – et par extension celle de votre travail de compréhension des problèmes de conversion – qui sera l’élément différenciateur permettant d’obtenir des up lifts et des résultats probants de votre activité de testing.

Article

10min lecture

MĂ©thodologie d’A/B testing : comment s’y prendre ?

Afin d’effectuer des tests A/B efficaces, il est important de s’appuyer sur un cadre méthodologique rigoureux pour pouvoir obtenir des résultats concrets.

1. Définir les objectifs et les attentes

Un sentiment fréquent parmi les entreprises ayant mis en place un programme de testing est un manque de résultat de leurs tests. Cela s’explique par leur interprétation de la notion de succès.

Trois profils se détachent : « Un test est concluant si et seulement si… » :

  • Il produit une augmentation majeure du taux de conversion.
  • Il a eu un effet positif sur l’engagement des internautes, mĂŞme si ces derniers ne convertissent pas directement.
  • Il a permis de modifier le design un peu datĂ© de leur site sans impacter nĂ©gativement les KPIs.

Les attentes vis-à-vis de l’A/B testing ainsi que les objectifs mesurés, dépendent beaucoup de la maturité des entreprises dans le domaine de la conversion. Attention, la macro conversion – situation dans laquelle seul le taux de conversion global est mesuré – est fortement déconseillée ! En réalité, peu de tests produiront des effets significatifs sur le taux de conversion, et il est important de tirer des enseignements de toutes les informations disponibles.

Une modification peut n’avoir aucun impact sur le taux de conversion global, mais impacter positivement les micros conversions, comme l’ajout au panier ou la création d’un compte utilisateur,       qui sont autant d’étapes vers la macro conversion. L’évolution de la valeur moyenne du panier d’achat est également à prendre en compte pour apprécier les résultats du test. Le succès est fait d’une succession de gains, parfois modestes.

2. Mettre en place une équipe projet ou un référent testing

La réussite d’un programme de testing ne repose pas uniquement sur l’outil d’A/B testing utilisé, mais sur l’expérience des personnes chargées de l’optimisation des conversions.

Attention, le nombre d’intervenants est parfois important lorsqu’on aborde le sujet sensible de la conversion. Dans beaucoup de structures, la personne voulant effectuer une modification doit d’abord obtenir l’aval du management, puis mobiliser des ressources graphiques et techniques pour mettre en place le test, et finalement recourir à un web analyste pour évaluer les résultats.

C’est pourquoi il est conseillé de mettre en place une équipe projet, composée de compétences diverses et capable d’analyser les données, d’identifier les problèmes de conversion et de se mettre dans la peau des utilisateurs finaux pour suggérer des solutions adaptées. Il est également utile d’avoir dans son équipe, un chef de projet ainsi qu’un sponsor. Le chef de projet coordonnera les équipes et sera le garant de la roadmap de tests, pendant que le sponsor appuiera auprès de la direction les initiatives d’optimisation et sera responsable du retour sur investissement des activités de testing.

Si par contre, la structure de l’entreprise ne justifie pas de telles ressources, avoir un référent qui centralise l’exécution des tests et l’analyse des résultats reste conseillé.

3. Formuler des hypothèses fortes de test

Un programme d’A/B testing doit nécessairement être alimenté par d’autres sources d’informations, afin d’identifier les problèmes de conversion et de comprendre au mieux le comportement des internautes. Cette phase d’analyse est critique et doit aboutir à la formulation d’hypothèses fortes à tester.

Une hypothèse correctement formulée est le premier pas vers le succès d’un programme d’A/B testing et doit respecter les règles suivantes :

  • elle doit ĂŞtre liĂ©e Ă  un problème clairement identifiĂ© et dont les causes sont pressenties,
  • elle doit mentionner une solution possible au dit problème,
  • elle doit indiquer le rĂ©sultat attendu, lequel est directement liĂ© au KPI Ă  mesurer.

Par exemple, si le problème identifié est un taux d’abandon élevé sur un formulaire d’inscription, lequel est supposé être trop long, une hypothèse valide pourrait être : « Raccourcir le formulaire en supprimant les champs facultatifs, tels que le téléphone et l’adresse postale, augmentera le nombre de contacts collectés ».

4. Prioriser les tests Ă  mener

L’analyse des sources d’information met souvent en évidence plusieurs problèmes de conversion et permet de formuler différentes hypothèses de tests. Il faut maintenant prioriser celles-ci pour établir une roadmap et rythmera la mise en place des tests. Plusieurs éléments doivent être pris en compte pour prioriser ces hypothèses :

  • Le gain potentiel du test. Les pages Ă  fort trafic prĂ©sentant de gros problèmes de conversion (ex. : un taux de sortie Ă©levĂ©) sont des bons points de dĂ©part. Comment les trouver ? Analysez vos donnĂ©es web analytics !
  • La facilitĂ© d’implĂ©mentation du test. La complexitĂ© des solutions envisagĂ©es peut influencer la priorisation des tests en fonction des ressources disponibles.

Une fois la priorisation faite, les contours de la roadmap doivent être dessinés. Dans un souci de formalisation, n’hésitez pas à la mettre noir sur blanc en incluant le maximum d’informations (nom du test, type et l’URL de la page testée, date de lancement, hypothèse à confirmer, KPIs à mesurer ainsi que même l’impact potentiel l’effort d’implémentation (note de 1 à 3 par exemple).

Cette roadmap permettra de mobiliser, d’aligner et de coordonner les efforts des parties prenantes du projet pour atteindre les objectifs définis.

5. Mettre en place les tests

Les outils tels qu’AB Tasty permettent à chacun de lancer un test sans nécessiter de connaissances techniques. L’utilisateur peut alors modifier lui-même les pages de son site via un éditeur de type WYSIWYG (What You See Is What You Get). Après une rapide formation, ces outils sont rapides à prendre en main et permettent à l’utilisateur d’être rapidement autonome.

2 mises en place possibles : Concernant le mode de fonctionnement, deux tendances se dessinent : l’intégration totale des tests par l’entreprise ou la prise en charge d’un prestataire externe. L’avantage de ce dernier est la dimension de conseil en optimisation des conversions, ainsi que la création et mise en place du design des variations. Cependant, il est plus simple et flexible de former directement son équipe interne, afin d’être toujours libre de ses changements. Certains outils, comme AB Tasty, proposent un système de certification qui atteste de leur connaissance de l’outil et de leur expertise.

Encore une fois, le choix de l’outil de testing ainsi que votre internalisation ou non de l’activité, dépendra de la maturité de l’entreprise sur les sujets liés à la conversion et de ses ressources budgétaires et humaines. Chaque cas de figure sera donc différent et nous ne pouvons que recommander d’opter pour une solution adaptée à ses besoins et contraintes. Rien ne sert de disposer d’un outil complexe, si l’utilisateur souhaite être autonome, mais est, au final, dépendant d’un prestataire pour l’utiliser. À l’inverse, un outil trop simple à utiliser pourra s’avérer limité lorsque les besoins évolueront.

6. Analyser les résultats des tests

La phase d’analyse des tests est la plus délicate. La solution d’A/B testing doit au minimum proposer une interface de reporting indiquant :

  • les conversions enregistrĂ©es par variation
  • le taux de conversion
  • le % d’amĂ©lioration par rapport Ă  l’originale
  • l’indice de fiabilitĂ© statistique enregistrĂ©e pour chaque variation

Les outils plus avancés permettent d’affiner les données brutes en segmentant les résultats par dimension (ex. : source de trafic, origine géographique des visiteurs, typologie de clients, etc.). Il est ainsi possible de mettre en évidence des sous-populations d’internautes pour lesquelles l’une des variations surperforme statistiquement, quand bien même le test paraitrait non concluant au niveau global (tous internautes confondus). Cette information a une valeur stratégique, car elle est va permettre d’orienter vos futures actions (ex.: personnalisation des contenus selon une segmentation client spécifique).

Attention : La segmentation des résultats ne doit pas pour autant faire oublier les principes de fiabilité statistique. Si un test s’avère fiable sur l’ensemble des internautes, ce ne sera pas forcément le cas sur un échantillon restreint. Il faut alors vérifier la fiabilité du test sur l’échantillon concerné !

Nos conseils : Intégrez vos tests au sein de votre outil de web analytics pour bénéficier de métriques complémentaires et pour pouvoir analyser l’impact du test sur d’autres dimensions. Afin de prendre en compte tous les comportements des internautes (par jour de la semaine, voire même par heure de la journée) nous vous recommandons également de laisser votre test actif au moins une semaine, deux dans l’idéal.

7. Documenter les tests menés

Il est primordial de correctement documenter et archiver les tests menés. Si plusieurs personnes sont en charge de l’optimisation des conversions, cela permettra de partager efficacement les informations. Il en est de même si un nouvel intervenant doit se plonger dans des tests menés plusieurs mois auparavant. Documenter un test consiste à garder une trace écrite, à l’issue de chaque test, d’informations telles que :

  • le nom du test,
  • la pĂ©riode du test,
  • l’hypothèse testĂ©e et les donnĂ©es qui ont permis d’identifier celle-ci,
  • une description des variations mises en place, captures d’écran Ă  l’appui,
  • les rĂ©sultats du test,
  • les enseignements du test,
  • le gain monĂ©taire potentiel sur une annĂ©e suite Ă  la mise en place de la variation la plus performante.

Ce travail de documentation peut aussi permettre à l’équipe en charge du programme de testing d’identifier de nouvelles hypothèses à tester et d’évaluer le ROI de son activité.

8. Implémenter les versions gagnantes et valider les gains constatés

Dès lors que l’une des variations surperforme l’originale avec certitude, il est temps de mettre en production la variation gagnante. Selon l’organisation de l’entreprise, le délai entre chaque release du site (phase de mise en production) peut être important. Pour ne pas passer à côté du moindre gain, surtout si celui-ci est important, la plupart des outils d’A/B testing proposent d’afficher la variation gagnante à 100 % des internautes, le temps que les changements passent en production.

Une fois l’optimisation définitivement mise en place, il convient toutefois de contrôler que les niveaux de gains constatés durant le test se confirment sur le long terme. Continuer à suivre les KPIs peut s’avérer judicieux, car de nombreux facteurs exogènes peuvent expliquer que, durant le test, l’optimisation mise en place ait généré de meilleurs résultats (Ex : proximité d’une période de fêtes, origine du trafic, mise en place d’une campagne d’acquisition en parallèle, etc.).

9. Diffuser les résultats des tests

Il est important de partager au plus grand nombre les enseignements tirés des tests. Le management en premier lieu, doit avoir une synthèse des résultats en soulignant l’impact des tests sur les KPIs définis préalablement. Les enseignements plus larges pouvant impacter d’autres aspects de l’activité doivent également être mis en évidence. Le partage de l’information doit se faire à tous les niveaux de l’organisation pour qu’une culture du testing se mette progressivement en place.

10. Tester en permanence

L’A/B testing est un processus d’optimisation continue. À l’issue de chaque test, des enseignements sont tirés et viennent alimenter de nouvelles hypothèses de tests pour étoffer la roadmap. C’est, par ailleurs, dans la durée que les efforts porteront leurs fruits : les premiers tests ne produiront certainement pas les résultats escomptés, car la construction d’une expertise prend du temps.

Article

10min lecture

Combien de temps un test A/B doit-il durer pour un résultat fiable ?

Il s’agit du premier article d’une série destinée à vous aider à interpréter correctement les résultats de vos tests A/B. Pour ce 1er article nous nous nous intéressons à une question récurrente : combien de temps doit durer un test avant de pouvoir en tirer des conclusions ?

La question sous-jacente est en effet cruciale et peut se résumer de la façon suivante : à partir de quand peut-on arrêter un test qui semble donner des résultats ? De la réponse dépendra la pertinence de l’analyse et le gain réel du test. En effet, il n’est pas rare de voir des tests donner de bons résultats durant la phase d’expérimentation puis, une fois les modifications mises en production, ne plus constater les mêmes résultats. Dans la majorité des cas, une erreur commise durant l’expérimentation est à l’origine de cet amer constat : le test a été arrêté trop tôt et les résultats à cet instant vous induisent en erreur. Prenons un exemple pour illustrer la nature du problème.

durée-d'un-test

L’image précédente représente l’évolution du taux de conversion de 2 versions d’une page faisant l’objet d’un test. Dès le début du test, la 1re version semble se détacher et surperformer. L’écart entre les 2 versions se réduit progressivement au fil du temps et 2 semaines après le début du test, plus aucune différence notable n’est constatée. Ce phénomène de convergence des résultats est typique si la modification apportée n’a pas d’impact réel sur la conversion.

L’apparente surperformance au dĂ©but du test s’explique simplement : il est rare que les Ă©chantillons soient reprĂ©sentatifs de votre audience au dĂ©marrage du test. Il faut en effet du temps pour que vos Ă©chantillons intègrent tous vos profils d’internautes et donc tous leurs comportements. Si vous arrĂŞtez votre test trop tĂ´t, par exemple au bout d’1 semaine dans l’exemple ci-dessus, vous allez prendre une dĂ©cision erronĂ©e, car vos donnĂ©es sont incomplètes.

Le problème étant posé, voyons de façon pratique comment éviter de tomber dans ce piège. Il existe plusieurs critères sur lesquels vous baser pour déterminer quand vous fier aux résultats affichés par votre solution d’A/B testing.

  • L’indice de confiance statistique
  • La taille de l’échantillon
  • La reprĂ©sentativitĂ© de votre Ă©chantillon
  • La pĂ©riode du test et le device testĂ©

1. L’indice de fiabilité statistique

Toutes les solutions d’A/B testing affichent dans leur reporting un indicateur de fiabilité statistique qui mesure la probabilité que les différences de résultats constatés entre chaque échantillon ne soient pas liées au hasard. Cet indicateur, calculé selon le test du Khi Deux, est le 1er indicateur sur lequel se baser. L’usage chez les statisticiens veut que l’on considère un test fiable à partir d’un taux de 95 %. On accepte donc de se tromper dans 5 % des cas et que les résultats des 2 versions puissent être identiques.

Se baser uniquement sur cet indicateur pour juger du moment opportun d’arrêter un test est pourtant une erreur. S’il s’agit d’une condition nécessaire pour juger de la fiabilité d’un test, elle n’est pas suffisante. Autrement dit, tant que vous n’avez pas atteint ce seuil, vous ne pouvez pas prendre de décision, et une fois ce seuil atteint, vous devez encore prendre certaines précautions.

Par ailleurs, il faut bien comprendre ce que signifie le test du Khi Deux. Celui-ci permet de rejeter ou non ce qu’on appelle l’hypothèse nulle. Appliquée à l’A/B testing, celle-ci consiste à dire que 2 versions produisent des résultats identiques (et qu’il n’y a donc pas de différences entre elles). Si la conclusion du test amène à rejeter l’hypothèse nulle, cela veut donc dire qu’il y a une différence de résultats. En revanche, le test ne présage en rien de l’ampleur de cette différence.

2. La taille de l’échantillon

Il existe de nombreux outils en ligne permettant de calculer la valeur du Khi Deux en indiquant en paramètres d’entrée les 4 éléments nécessaires à son calcul (dans le cadre d’un test avec 2 versions). Vous pouvez trouver un tel outil ici.

En utilisant cet outil, nous avons pris un exemple extrême pour illustrer le problème.

durée-test

http://www.evanmiller.org/ab-testing/chi-squared.html

Sur cette image, le calcul du Khi Deux amène à dire que l’échantillon n° 2 converti mieux que l’échantillon n° 1 avec une fiabilité de 95 %. En revanche, les valeurs d’entrée sont extrêmement faibles et rien ne garantit que si l’on testait 1 000 personnes au lieu de 100, on conserverait le même ratio de 1 à 3 entre les taux de conversions.

C’est un peu comme jouer à pile ou face. Si la probabilité est de 50 % de tomber sur pile et 50 % sur face, il est possible, en ne jouant que 10 fois, d’avoir une distribution de 70 %/30 %. C’est uniquement en jouant un grand nombre de fois qu’on se rapproche de la distribution attendue de 50 %/50 %.

Pour pouvoir se fier au test du Khi Deux, il est donc recommandé d’avoir une taille d’échantillon conséquente. Vous pouvez calculer la taille de cet échantillon avant de démarrer votre test pour avoir une indication du moment où il est pertinent de regarder l’indicateur de fiabilité statistique. Plusieurs outils en ligne permettent de calculer cette taille d’échantillon (exemple ici). Dans la pratique cela peut s’avérer difficile, car l’un des paramètres à renseigner est le % d’amélioration attendue, ce qui n’est pas facile à évaluer, mais peut être un bon exercice pour juger de la pertinence des modifications envisagées. PS : plus le pourcentage d’amélioration attendu est faible, plus la taille de l’échantillon devra être importante pour pouvoir détecter une réelle différence. Si vos modifications ont un impact très faible, beaucoup de visiteurs devront être testés. Cela milite donc pour que vous apportiez des modifications radicales ou disruptives qui auront probablement plus d’impact sur la conversion.

durée-test

3. La représentativité de votre échantillon

Si vous avez beaucoup de trafic, atteindre une taille d’échantillon suffisante n’est pas un problème et vous pouvez obtenir un taux de fiabilité statistique en seulement quelques jours, 2 ou 3 parfois. Pour autant, arrêter un test dès lors que les conditions de taille d’échantillons et de fiabilité statistique sont satisfaites n’est pas la garantie de reproduire les résultats en situation réelle.

Le point clé, souvent sous-estimé, consiste à tester aussi longtemps qu’il le faut pour inclure dans votre échantillon tous vos segments d’audience. En effet, les tests statistiques partent du postulat que vos échantillons sont distribués de façon identique, autrement dit que la probabilité de convertir est la même pour tous les internautes. Or, ce n’est pas le cas : cette probabilité varie en fonction de différents facteurs tels que le temps, l’emplacement géographique ou encore les préférences utilisateurs.

2 facteurs sont notamment très importants à prendre en compte.

  • Vos cycles commerciaux. Les internautes n’achètent pas directement une fois qu’ils dĂ©couvrent votre site. Ils s’informent, comparent, murissent leur rĂ©flexion… Entre le moment oĂą ils sont soumis Ă  l’un de vos tests et le moment oĂą ils convertissent, il peut s’écouler 1, 2, voire 3 semaines. Si votre cycle d’achat est de 3 semaines et que vous ne testez que sur 1 semaine, votre Ă©chantillon ne sera pas reprĂ©sentatif, car notre outil enregistrera les visites de tous les internautes, mais n’enregistrera pas les conversions d’une partie d’entre eux pour lesquels votre test aura pourtant un impact. Nous vous conseillons donc de tester sur au moins 1 cycle commercial complet, 2 idĂ©alement.
  • Vos sources de trafic. Votre Ă©chantillon doit inclure l’ensemble de vos sources de trafic (emailing, liens sponsorisĂ©s, rĂ©seaux sociaux…) et vous devez vous assurer qu’aucune de ces sources ne soit surreprĂ©sentĂ©e dans votre Ă©chantillon. Prenons un cas concret : si le canal emailing est une source faible de trafic, mais importante de revenus, et que vous menez un test pendant une campagne emailing, vous allez inclure dans votre Ă©chantillon des internautes qui ont une plus forte propension Ă  acheter. Celui-ci ne sera plus aussi reprĂ©sentatif. Il est Ă©galement primordial d’avoir connaissance des opĂ©rations d’acquisition d’envergure et si possible ne pas tester sur ces pĂ©riodes. Il en va de mĂŞme pour les tests durant les soldes ou tous autres temps forts promotionnels qui attirent des internautes au comportement atypique. En rĂ©itĂ©rant les mĂŞmes tests en dehors de ces pĂ©riodes, vous constaterez souvent des diffĂ©rences de rĂ©sultats moins marquĂ©es.

S’assurer de la représentativité de votre échantillon s’avère au final assez difficile, car vous maîtrisez peu la nature des internautes qui participent à votre test. Vous pouvez pallier ce problème de 2 manières. La première est de prolonger votre test plus que nécessaire pour vous rapprocher d’une distribution normale de vos internautes. La deuxième consiste à cibler vos tests pour n’inclure dans votre échantillon qu’une population spécifique. Ex : vous pouvez exclure de vos tests tous les internautes qui viennent de vos campagnes d’emailing si vous savez qu’ils biaisent vos résultats. Vous pouvez aussi cibler uniquement les nouveaux visiteurs pour ne pas inclure d’internautes bien avancés dans leur processus d’achat et qui convertiraient, quelle que soit la version à laquelle ils sont soumis.

4. Autres éléments à prendre en compte

D’autres éléments sont à prendre en compte pour s’assurer que les conditions de votre expérimentation soient les plus proches de la réalité : le timing et le device.

  • Les taux de conversion pouvant varier fortement entre les jours de la semaine, voire les heures de la journĂ©e, il est conseillĂ© de tester sur des pĂ©riodes complètes. Autrement dit, si vous lancez un test le lundi matin, il doit s’arrĂŞter un dimanche au soir pour qu’une distribution normale des conversions soit respectĂ©e.
  • De mĂŞme, les taux de conversion entre mobile, tablette et desktop variant fortement, nous recommandons de tester vos sites ou pages spĂ©cifiquement pour chaque device, en utilisant les fonctionnalitĂ©s de ciblage pour inclure/exclure les devices pour lesquels vos utilisateurs prĂ©sentent des comportements de navigation et d’achat très diffĂ©rents.

Ces éléments sont à prendre en compte pour ne pas arrêter vos tests trop tôt et vous fourvoyer dans une analyse erronée des résultats. Ils expliquent également pourquoi certains tests A/A, menés sur une période trop courte ou durant une période d’activité anormale, peuvent présenter des différences de résultats ainsi qu’une fiabilité statistique, alors que vous n’avez apporté aucune modification.

Article

9min lecture

Comment formuler des hypothèses de tests efficaces ?

On s’imagine souvent que, faire des tests A/B pour améliorer les performances de son site e-commerce passe, par exemple, par un rapide changement de couleur du bouton « acheter ». On pense alors, à tort ou à raison (parfois !), que modifier le rouge de l’icône, par du vert, contribuera à accroître de manière drastique son taux de conversion. Or, c’est en réalité une erreur que de s’imaginer que des modifications basiques et rapides apportées au niveau du design de vos pages, conduiront à une amélioration significative de vos résultats !

En effet, encore bien trop peu de gens s’interrogent sur les vraies origines du succès (ou de l’échec !) des changements qu’ils mettent en place pour améliorer leur taux de conversion (ou autre donnée de mesure) et il est important de savoir déterminer à la fois le problème et les hypothèses qui vous permettront d’obtenir les meilleurs résultats, en s’inscrivant sur du long terme car, comme l’illustre l’exemple ci-dessous, il s’agit bien souvent de croître du simple au double !

Aussi, plutôt que de foncer tête baissée et trouver une solution « bricolée », il est bien souvent préférable de savoir prendre du recul pour :

1/ Identifier le véritable problème à la source de mauvaises performances (Exemple : un taux de rebond élevé sur votre landing page, ou un taux d’abandon élevé au moment de la facturation sur votre site)

2/ Établir une hypothèse Ă  partir de laquelle pourrait dĂ©couler le problème identifiĂ© (Exemple : « nos clients ne comprennent pas immĂ©diatement les caractĂ©ristiques de nos produits lorsqu’ils lisent les fiches sur notre site e-commerce »)

Cette deuxième étape, qui peut sembler difficile puisqu’elle requiert une capacité d’introspection et un regard critique sur le site existant, s’avère néanmoins cruciale pour qui souhaite voir ses KPIs s’améliorer de manière drastique !

Aussi, les questions auxquelles nous allons répondre ici seront donc les suivantes :

  • Qu’est-ce qu’une hypothèse de tests A/B pour un site e-commerce ?
  • L’hypothèse de tests A/B : la formule de dĂ©part
  • Quels sont les Ă©lĂ©ments Ă  prendre en compte pour s’assurer que les hypothèses établies sont les bonnes et vous garantiront les meilleurs rĂ©sultats ?

Les hypothèses de tests A/B : une définition courte, pour un sujet riche pour les professionnels du e-commerce !

Lorsque l’on consulte un dictionnaire, le mot « hypothèse » a une définition très simple (source Larousse) :

Proposition visant Ă  fournir une explication vraisemblable d’un ensemble de faits, et qui doit ĂŞtre soumise au contrĂ´le de l’expĂ©rience ou vĂ©rifiĂ©e dans ses consĂ©quences.

Le premier point intéressant à soulever dans cette définition a trait à « l’ensemble de faits à expliquer » : les hypothèses de tests doivent toujours partir d’un problème clairement identifié. Surtout ne pas tester au hasard, au risque de perdre son temps.

Pour identifier ces problèmes, beaucoup de sources d’information sont à votre disposition :

  • DonnĂ©es web analytics. Si ces donnĂ©es n’expliquent pas le comportement des internautes, elles permettent de mettre en Ă©vidence des problèmes de conversion (ex. : identification des abandons de panier). Elles servent Ă©galement Ă  prioriser les pages Ă  tester.
  • Évaluation heuristique et audit ergonomique. Ces analyses permettent d’apprĂ©hender Ă  moindre coĂ»t l’expĂ©rience du site du point de vue de l’utilisateur, sur la base d’une grille d’analyse.
  • Tests utilisateurs. Ces donnĂ©es qualitatives sont limitĂ©es par la taille de l’échantillon, mais peuvent se rĂ©vĂ©ler très riches en informations qui n’auraient pas Ă©tĂ© dĂ©celĂ©es avec des mĂ©thodes quantitatives. Elles rĂ©vèlent souvent des problèmes de comprĂ©hension de l’offre ou d’ergonomie du site. MĂŞme si l’expĂ©rience peut parfois s’avĂ©rer quelque peu douloureuse au regard des potentielles remarques nĂ©gatives, cela vous permettra de rĂ©cupĂ©rer des donnĂ©es qualifiĂ©es sur des insights prĂ©cis.
  • Eye tracking ou click tracking. Ces mĂ©thodes apportent de la visibilitĂ© sur la façon dont les internautes interagissent avec les Ă©lĂ©ments au sein d’une page et pas uniquement entre les pages.
  • Feedbacks clients. Les entreprises collectent dĂ©jĂ  de nombreux retours de la part de leurs clients (ex. : commentaires et avis dĂ©posĂ©s sur le site, questions posĂ©es au service client). Leur analyse peut ĂŞtre complĂ©tĂ©e par la mise en place d’outils tels que des enquĂŞtes clients ou encore des live chats pour collecter davantage d’information.

Ces outils vont vous aider à mettre en lumière les vrais problèmes impactant les performances de votre site, et sur le long terme, au-delà des solutions, c’est aussi un vrai gain de temps et d’argent !

Aussi, avant d’aller plus en détail dans le sujet, partons de ce qui constitue la base d’une hypothèse de test A/B !

L’hypothèse de tests A/B : la formule de départ

Au départ, la constitution des hypothèses de tests A/B peut sembler presque simple. Il s’agit principalement d’un changement et de son effet produit :

Changer (Ă©lĂ©ment testĂ©) de ___________ en _____________ va me permettre d’augmenter/ diminuer (l’unitĂ© de mesure dĂ©finie).

Cette formule n’est, à ce stade, qu’une supposition théorique, qu’il conviendra de prouver ou désapprouver, mais elle vous servira de fil rouge dans la résolution du problème rencontré.
Point important cependant : l’impact du changement que vous souhaitez apporter doit toujours ĂŞtre mesurable en des termes quantifiables (taux de conversion, taux de rebond, taux d’abandon etc. …).
Voici ci-dessous quelques exemples d’hypothèses formulées selon la formule exposée ci-dessus et applicables au e-commerce :

Exemple #1
« Modifier notre call to action de « ACHETER VOS TICKETS MAINTENANT » en « LES TICKETS SE VENDENT RAPIDEMENT – SEULEMENT 50 ENCORE DISPONIBLES ! » va améliorer nos ventes sur notre site e-commerce. »

Exemple #2
«Raccourcir le formulaire en supprimant les champs facultatifs, tels que le téléphone et l’adresse postale, augmentera le nombre de contacts collectés. »

En complément, lorsque, au sein de ce processus de réflexion, vous réfléchissez à la solution que vous souhaitez implémenter, il faut nécessairement y intégrer la notion de « psychologie » du prospect en s’interrogeant sur le point suivant :

« Quel impact psychologique, le problème identifié peut-il provoquer dans l’esprit du client ? »

A titre d’exemple, si le problème que vous avez identifiĂ© est « il y a un manque de clartĂ© dans le processus d’inscription au site, qui impacte la conversion vers l’acte d’achat », l’impact psychologique sur votre prospect peut ĂŞtre de la confusion Ă  la lecture des informations. Au regard de ce constat, vous pourrez dès lors commencer Ă  rĂ©flĂ©chir de manière concrète Ă  la solution pour corriger ce sentiment cĂ´tĂ© « client ». Ainsi, dans le cas prĂ©sent, on pourra imaginer « intĂ©grer une barre de progression matĂ©rialisant les diffĂ©rentes Ă©tapes de l’inscription ».

Point de vigilance cependant, cet aspect « psychologique » ne doit pas être intégré dans la formulation de votre hypothèse de test. Il faut toujours respecter la construction suivante : « Si je change cela, cela va causer cet effet-là ». Une fois vos résultats obtenus, vous devriez, dès lors, être capable de dire « c’est vrai »/ « c’est faux ». Il faut donc bien veiller à s’appuyer sur des suppositions concrètes et tangibles.

Enfin, et parce que s’arrêter en si bonne voie serait dommage, tout l’enjeu final dans la constitution des hypothèses de A/B test est d’identifier, rapidement, celle qui viendra servir le mieux votre business.

Optimiser la constitution d’hypothèses de test A/B efficaces pour les sites e-commerce

Il existe de nombreux éléments qui vont vous permettre de constituer des hypothèses de test A/B efficaces… En voici déjà 5 pour débuter (et vous inspirer) ! Ces bonnes pratiques vous offrent la possibilité de créer vos hypothèses en comparant votre site actuel et les propositions énoncées ci-dessous, et impactent directement les performances de conversion.

1. SUR LA HOMEPAGE

  1. Le header/ la bannière principale expliquant les produits/ les services proposés par le site permettent d’accroître la curiosité des clients et de prolonger leur temps de présence sur le site.
  2. Un call-to-action visible dès la connexion, va permettre d’augmenter les chances de clics
  3. Une section “ à propos”, très visible, va permettre de renforcer la confiance envers la marque, que ressentira le prospect en arrivant sur le site.

2. DANS LES RUBRIQUES PRODUIT

  1. Les filtres font largement économiser du temps aux clients. Ils peuvent rapidement trouver ce qu’ils cherchent.
  2. Valoriser une sélection des produits les plus populaires en haut des rubriques est un excellent point de départ à la génération de ventes.
  3. Un bouton/ lien “ en savoir plus” sous chaque produit, va encourager l’utilisateur à vouloir en découvrir plus !

3. DANS LES FICHES PRODUIT

  1. La recommandation « produit » crée une expérience plus personnalisée pour l’internaute et aide à augmenter son panier d’achat moyen
  2. Si le bouton “ajouter au panier” est l’élément le plus visible de la fiche produit, il va attirer l’attention du prospect, et faire augmenter le taux de clic.
  3. Un bouton “Ajouter au panier et payer” fait gagner du temps au client, la plupart payant en moyenne 1 transaction à la fois.
  4. L’ajout de boutons de partage “sociaux” est un moyen efficace de faire de la fiche produit, un contenu viral.

4. DANS LE PANIER

  1. La présence de logos tels que “certifié visa” renforce la confiance des clients envers le site
  2. Un bouton/ lien très visible de “Procéder au paiement” incite largement les utilisateurs à cliquer

5. LE PAIEMENT

  1. Une seule page pour le paiement permet de diminuer le temps de chargement entre deux pages, et de maintenir l’attention du client.
  2. Le paiement de la commande sans inscription, est quelque chose de très apprécié par les nouveaux prospects, qui ne sont pas forcément enclins à partager leurs informations personnelles au moment de la première connexion.
  3. Si les différentes étapes de paiement sont visibles pour l’utilisateur, alors il aura de la visibilité sur la suite de son parcours. Cela le rassurera et lui donnera envie d’aller au bout de son acte d’achat.

Pour terminer, même si la définition des hypothèses des tests A/B peut sembler un travail complexe et surtout méthodique, il ne faut pas oublier tous les bénéfices que cette étape pourra apporter à votre site e-commerce. Aussi, la prochaine fois que vous souhaiterez optimiser vos performances, pensez « analyse et data », avant « design et graphisme » : un bon début vers la mise en place d’hypothèses efficaces.