L’A/B testing remporte un vif succès, porté par l’approche Test & Learn. Des solutions SaaS innovantes, en redonnant la main aux équipes marketing, ont démocratisé la pratique et l’ont rendue accessible à tous.
Cette simplicité de mise en œuvre ne doit pas faire oublier les implications statistiques qui en découlent. Au-delà de modifier simplement les pages de son site, l’A/B testing est avant tout un outil d’aide à la décision. Celui-ci vient valider ou non des hypothèses en appliquant aux données collectées des mesures de fiabilité statistique. Il est important de connaître avec certitude si les différences de résultats ne sont pas dues au hasard.
Or, certains utilisateurs doutent de la fiabilité de ces résultats, car ils ne les constatent pas toujours une fois les modifications « gagnantes » en place. La faute à des méthodes statistiques mal adaptées à leurs besoins.
Petit tour d’horizon des alternatives.