AB Tasty a pour mission de rendre l’A/B testing et la personnalisation des contenus accessibles au plus grand nombre. La fonctionnalité qui traduit le mieux cette proposition est sans doute notre éditeur graphique : vous modifiez directement les pages de votre site, sans connaissances techniques. Pour autant, donner vie à vos idées n’est que la première étape de votre campagne de testing : vous devez ensuite exploiter les résultats.

Fidèles à notre mission, nous lançons Clever Stats. Fruit de 12 mois de développement, cette nouvelle méthodologie de calcul vous offre plus de flexibilité pour prendre vos décisions plus rapidement, avec moins de risques d’identifier une version comme sur-performante alors qu’elle ne l’est pas. AB Tasty est la 1ère solution de testing à s’appuyer sur les statistiques bayésiennes pour vous apporter cette flexibilité.

Nous allons encore plus loin dans notre promesse de simplicité. Après avoir libéré les équipes marketing des contraintes techniques pour modifier leurs pages et parcours clients, nous les affranchissons désormais des contraintes statistiques pour exploiter plus facilement les données collectées et agir en toute confiance. [Rémi Aubert, cofondateur d’AB Tasty]

Cessez d’observer, agissez immédiatement !

Pour comprendre ce qui nous a poussés à développer cette nouvelle méthodologie, il faut savoir que la plupart des solutions de testing s’appuient sur des méthodes statistiques, comme le test de Student ou le Z-test, héritées du passé et moins adaptées aux besoins actuels des utilisateurs. Ces méthodes ont fait leurs preuves et sont tout à fait viables dans des secteurs comme l’industrie pharmaceutique ou agricole, où les données ne sont pas accessibles en temps réel. L’emploi de ces méthodes requiert une méthodologie stricte, dite à horizon fixe, où une taille d’échantillon doit être fixée au préalable et où aucune conclusion ne peut être tirée tant que cette taille n’est pas atteinte.

Bayesian vs Frequentist

Appliqué à l’A/B testing pour des sites web, sites mobiles ou applications natives, ces anciennes méthodes ne correspondent donc plus au mode de fonctionnement des utilisateurs. En effet, à l’heure du temps réel, il est inconcevable de leur demander de calculer une taille d’échantillon a priori et de ne pas regarder les résultats avant d’attendre cette limite. Qui plus est, calculer la taille d’un échantillon requiert une information très subjective (l’effet minimum à détecter) trop souvent définie « au doigt mouillé ».

A l’inverse, ces derniers doivent pouvoir rapidement interpréter les données et agir en conséquence dès qu’elles leur semblent prometteuses. Pourquoi attendre, alors que des données utilisables sont déjà collectées ? Le comportement consistant à regarder régulièrement les résultats (data peeking) est ainsi très fréquent chez les utilisateurs, mais totalement contraire aux prérequis des méthodes statistiques à horizon fixe. Ce comportement engendre notamment des incompréhensions et des doutes sur l’intérêt même des tests, par exemple quand les utilisateurs constatent que le taux de fiabilité ne varie pas toujours dans un sens positif (ex. votre solution vous indique que le test est fiable à 95 % à un instant T, mais vous indique le contraire le lendemain). S’il revient aux solutions d’A/B testing d’éduquer sur ces aspects méthodologiques, nous sommes convaincus, chez AB Tasty, que ce n’est pas à l’utilisateur de se plier à ces contraintes, mais aux solutions de s’adapter et d’innover pour leur offrir plus de flexibilité.

Une prise de décision rapide et sûre

C’est pour répondre à leurs besoins d’un accès immédiat à l’information et d’une prise de décision rapide tout en étant assuré de la fiabilité des résultats que nous avons développé Clever Stats. Basé sur les statistiques bayésiennes, ce nouveau moteur de calcul statistique autorise à acter rapidement en minimisant les risques de « faux positifs » (déclarer une variation comme meilleure alors qu’elle ne l’est pas).

clever-stats

Aussi, nous avons appliqué l’ancienne et la nouvelle méthodologie en parallèle sur plusieurs tests pour mesurer l’intérêt de cette dernière – une sorte de test A/B appliqué à nos propres algorithmes ;-). Et les résultats sont sans appel! La nouvelle méthodologie l’emporte haut la main.

  • Tout d’abord, vous n’avez pas à déterminer au préalable la taille de votre échantillon. Lancez votre test et, dès que Clever Stats identifie un résultat significatif, vous pouvez déjà vous fier à ce résultat.
  • En pratique, vous aurez plus rapidement confiance dans les chiffres avancés et vos tests dureront moins longtemps.
  • Vous êtes libres de regarder les résultats quand vous le souhaitez et les compléments d’informations fournis, tels que l’intervalle de confiance des taux de conversions et du gain absolu, vous aident à ne pas identifier de « faux positifs ».
  • Vous ne constaterez pas non plus d’évolution sporadique du taux de fiabilité statistique.

Notre interface de reporting évolue en conséquence : davantage de données sont affichées, par exemple les médianes et intervalles de mesure du taux de conversion, ainsi que l’intervalle de gain par variation. Des informations pour vous aider à mieux prendre vos décisions en ayant conscience des zones d’incertitudes, lorsqu’il y en a. Pour plus de détails sur la lecture de ce reporting enrichi, reportez-vous à l’article de notre aide en ligne.

clever-stats

Bonus

Cette nouvelle approche statistique autorise également une allocation dynamique du trafic sur laquelle nous travaillons et qui sera bientôt disponible. Avec les méthodes statistiques classiques, chaque test représente un coût : à chaque fois que vous dirigez des visiteurs vers une variation qui s’avère être moins bonne, vous perdez des conversions. La souplesse qu’autorise notre nouvelle approche permet, au contraire, la mise en œuvre d’algorithmes qui affectent automatiquement moins de trafic aux variations les moins performantes et, donc, maximisent les gains lors de vos expérimentations. Stay tuned!