Puisqu’il est toujours bon de rappeler les bonnes pratiques du testing et de donner quelques astuces pour éviter les mésaventures de chacun, ces 10 points sont le fruit des expériences, heureuses ou malheureuses, de nos clients au cours de leur activité de testing.

les-10-incontournables-pour-réussir-vos-tests1.    S’assurer que les données reportées sont fiables

Il est important de pouvoir se fier aux données récoltées dans votre outil de testing. Le meilleur moyen ? Menez au moins un test A/A !

Cela vous permettra de vous assurer de l’affectation aléatoire du trafic à travers les différentes versions, mais vous pourrez également comparer les indicateurs issus de la solution d’A/B testing et celle de vos webanalytics. Il s’agit là de vérifier les ordres de grandeur plutôt que de chercher à faire correspondre exactement les chiffres.

Attention : Chaque outil utilise des méthodes de calcul différentes et une correspondance exacte des chiffres est rarement possible.

2.    Recetter le test avant le lancement

Certains résultats semblent contre-intuitifs ? Le test a-t-il été bien paramétré et les objectifs correctement définis ? Le temps consacré au recettage du test permettra dans bien des cas d’économiser un temps précieux passé à interpréter des résultats faux.

3.    Une seule variable et un seul test à la fois

Vous avez modifié plusieurs points et votre variation marche mieux que votre version originale. Quel point de changement est la cause de cette amélioration ? Tester une seule variable à la fois vous permet d’isoler précisément l’impact de cette variable. Si l’emplacement d’un bouton d’action et son libellé sont modifiés simultanément, il est impossible d’identifier quel changement a produit l’impact constaté.

Dans la même optique, il est conseillé de mener un seul test à la fois. Les résultats seront difficiles à interpréter si deux tests se déroulent en parallèle, qui plus est sur la même page. Pourtant, certains outils permettent de lancer plusieurs tests simultanément tout en garantissant qu’un internaute donné ne sera soumis qu’à un seul test. Pour les sites à fort trafic, cette possibilité est intéressante si la roadmap contient de nombreux tests et que les résultats sont attendus rapidement.

4.    Adapter le nombre de variations à la volumétrie

Pour avoir de bons résultats, vous devez avoir un certain trafic. S’il y a beaucoup de variations pour peu de trafic, le test va devoir durer très longtemps pour donner des résultats probants. Plus le trafic alloué au test est faible, moins il doit y avoir de versions différentes.

5.    Une fiabilité statistique à 95% avant toute chose

A travers différentes méthodes, les outils de testing vous génèrent un pourcentage de fiabilité statistique, vous permettant de savoir quand vos résultats peuvent être pris en compte sur le long terme.

Tant que le test n’a pas atteint une fiabilité statistique d’au moins 95 %, il est déconseillé de prendre la moindre décision. Dans le cas contraire, la probabilité que les différences de résultats observées soient liées au hasard et non aux modifications apportées serait trop importante. Il est d’ailleurs possible de voir la tendance des résultats s’inverser en laissant le test actif plus longtemps.

6.    Laisser un test tourner suffisamment

Même si un test démontre rapidement une fiabilité statistique, il faut tenir compte de la taille de l’échantillon et des différences de comportements, par rapport au jour de la semaine par exemple. Il est conseillé de laisser un test se dérouler au moins une semaine, deux idéalement, et d’avoir enregistré au moins 5 000 visiteurs et 100 conversions par version. Tant que ces différents niveaux ne sont pas atteints, laissez tourner votre test !

7.    Savoir mettre fin à un test

Il faut parfois savoir arrêter un test et en tirer les bonnes conclusions. Si un test met trop de temps à atteindre un taux de fiabilité de 95 %, il est probable que l’élément testé n’ait pas d’impact sur l’indicateur mesuré ou que la modification ne soit pas suffisamment conséquente. Vous voilà dans une impasse, et il ne sert à rien de prolonger le test. C’est une perte de temps et cela monopolise inutilement une partie du trafic qui pourrait être utilisée pour un autre test.

8.    Mesurer plusieurs indicateurs

Il est recommandé de mesurer plusieurs objectifs durant le test :

  • un objectif primaire, qui permettra de départager les versions
  • des objectifs secondaires, qui permettront d’enrichir l’analyse des résultats

Parmi les indicateurs fréquemment mesurés, on peut citer le taux de clic, le taux d’ajout au panier,     le taux de conversion, le panier moyen, le nombre de leads, etc.

9.    Attention aux actions marketing concurrentes

Des variables externes à un test peuvent fausser, ou du moins impacter, les résultats. Souvent, ce sont les campagnes d’acquisition de trafic qui attirent une population d’internautes au comportement inhabituel sur votre site.

Limiter ces effets collatéraux en décalant les tests ou les campagnes est préférable, mais n’est pas toujours possible. Il faut néanmoins en avoir connaissance ne serait-ce que pour expliquer des résultats surprenants.

10.  Segmenter les tests

Dans certains cas, mener un test sur l’ensemble des internautes d’un site n’a pas de sens et peut même fausser les résultats. Par exemple si vous faites un test qui vise à augmenter le nombre d’inscriptions au site, il est inutile de le soumettre aux internautes déjà inscrits. Il est alors pertinent de ne soumettre que les nouveaux visiteurs au test.

Il est également bon de segmenter ses tests pour répondre au mieux aux attentes des visiteurs. Si un internaute effectue une recherche sur Google en tapant l’expression « chaussures randonnées homme pour la montagne », l’annonce AdWords qui lui est proposé doit mentionner ces termes, et la landing page sur laquelle il arrive doit correspondre à sa requête au maximum. Si un test doit avoir lieu sur cette page, il faut être en mesure de cibler cette page pour le segment d’internautes venant des liens sponsorisés et recherchant des chaussures de montagne. Heureusement, les outils avancés de testing, tels qu’AB Tasty, permettent de segmenter les tests selon de nombreux critères (origine des visiteurs, comportements…).