Les 8 erreurs à ne pas commettre en A/B testing

[toc] Les erreurs suivantes sont susceptibles de fausser complètement les résultats de vos tests A/B. Apprenez à les éviter !

1. Modifier la version de contrôle pendant le test

Appliquer des modifications à la version de contrôle (c’est à dire la version originale de votre page), particulièrement aux éléments que vous testez, alors que le test est en cours, est à éviter absolument. En effet, les résultats obtenus par la variation ne voudront plus rien dire si la version originale qui sert de comparaison a également changé.

2. Tester vos variations sur des périodes différentes

Tout le but de l’A/B testing est de répartir votre trafic sur deux versions de votre page : une version de contrôle A, et une variation B. Récolter des données sur la version A pendant une certaine période puis faire de même sur la version B ensuite n’est pas de l’A/B testing, et vous donnera des résultats inutilisables. En effet, les conditions de test auront changé ! Rien ne peut garantir que le trafic que vous aurez intégralement dirigé vers la version A puis vers la version B est le même, bien au contraire. De nombreux autres facteurs sont susceptibles d’entrer en jeu : si vous testez la version A pendant une période normale puis la version B pendant une période de congés, les résultats que vous obtiendrez auront été faussés par les changements d’emploi du temps et d’habitudes des utilisateurs. Pour toutes ces raisons, une des règles d’or de l’A/B testing est que les deux versions doivent être testées simultanément : en déployant la variation au côté du contrôle et en répartissant le trafic entre les deux, vous serez sûr que les éventuels facteurs affectant le trafic s’appliqueront aux deux versions. Vous pourrez alors tirer des enseignements de vos résultats en toute confiance.

3. Modifier plusieurs variables simultanément

L’A/B testing à proprement parler consiste à tester une variation d’une page ne différant qu’en une seule façon : un test, une variable. Tester plusieurs variations de plusieurs éléments différents n’est plus de l’A/B testing mais du test multivarié, une technique nettement plus avancée. Si vous mettez sur place un test A/B avec plusieurs variables simultanées, vous aurez le plus grand mal une fois le test terminé à savoir précisément quelle(s) variables(s) sont responsables pour les résultats que vous aurez obtenus. Si vous souhaitez tester plusieurs éléments sur une page au moyen de tests A/B, testez d’abord les changements les plus radicaux puis affinez les modifications avec chaque test consécutif.

4. Tirer des conclusions avant d’avoir atteint les 95% de fiabilité

Dans l’outil de reporting AB Tasty, à chaque test est assigné un taux de fiabilité statistique. Il s’agit d’un seuil de confiance dont le calcul dépend en partie de la durée du test ainsi que du trafic affecté. Ce qu’il faut retenir, c’est le chiffre de 95% : si votre test a un taux de fiabilité de 95% ou plus, vous pouvez considérer les résultats comme fiables. En-dessous de ce taux, les résultats que vous obtiendrez ne sont tout simplement pas assez fiables pour en tirer des conclusions définitives. Si vous prenez une décision sur la base des résultats n’ayant pas au moins 95% de fiabilité, vous vous basez sur des résultats potentiellement faux : ils est tout à fait possible qu’ils changent ensuite.

5. Laisser un test actif trop longtemps

En revanche, si votre test a atteint 95% de fiabilité statistique et que vous disposez d’assez d’informations pour en tirer des enseignements, il vaut mieux ne pas laisser le test durer trop longtemps. Arrêtez vos tests quand ils ont donné satisfaction ! Dans le cas contraire, vous risquez de perdre du temps à attendre une amélioration marginale de résultats déjà bons, et vous exposez une partie de votre trafic à une variation déjà testée alors que ces visiteurs pourraient contribuer à de nouveaux tests.

6. Ne pas être honnête dans l’interprétation des données

Pour que vos tests A/B soient véritablement efficaces, vous devez accepter les résultats obtenus, quels qu’ils soient (à condition bien sûr d’avoir atteint 95% de fiabilité statistique). Bien sûr, c’est plus facile à dire qu’à faire lorsqu’on voit la variation qu’on a passé des semaines à concevoir échouer face à la version de contrôle ! L’intérêt de l’A/B testing est justement de vous dire sans équivoque quelle version fonctionne le mieux auprès de vos utilisateurs, même si ce n’était pas la version qui avait votre préférence.

7. Surprendre vos visiteurs les plus fidèles

Si vous avez un fort taux de visiteurs réguliers, mieux vaut ne pas les surprendre trop brusquement avec une variation radicalement différente. En effet, vos visiteurs réguliers sont des habitués qu’une modification brutale de votre site peut potentiellement faire partir, alors même que la variation en question ne sera peut-être pas celle choisie au final. De plus, en testant sur vos nouveaux visiteurs, vous serez sûr qu’ils n’auront pas un comportement biaisé.

8. Mal choisir vos KPIs

Enfin, veillez à choisir des KPIs réellement représentatifs des objectifs fixés. Si vous avez choisi un KPI trop éloigné de l’objectif, vous obtiendrez un résultat chiffré sans grande relation avec votre objectif. Une autre erreur courante est de ne suivre qu’un seul KPI alors que le test déployé peut en impacter plusieurs autres : il est alors possible que le test améliore le KPI suivi au détriment des autres, sans que vous puissiez vous en rendre compte immédiatement.

Anthony Brebion
Anthony est responsable marketing produit chez AB Tasty où il gère notamment la production de contenus. Avant d'être évangéliste de l'A/B testing et de l'optimisation des conversions, il était consultant en référencement naturel et a travaillé plusieurs années en régies publicitaires.

Related Posts


Tweetez
Partagez
Partagez
Pocket
Buffer
X