Mener un test A/B est à la portée de tous mais en analyser les résultats n’est pas si simple. Il arrive que les résultats d’un test ne se confirment pas une fois les modifications déployées. Le problème vient souvent d’une mauvaise compréhension des tests statistiques menés par la solution d’a/b testing.

Pour faire simple, il existe plusieurs approches statistiques. On s’est longtemps cantonné à l’une d’entre elles, car les alternatives n’étaient pas implémentables.

La méthode qui prévalait jusque-là était très simple à mettre en œuvre, mais imposait une approche très rigoureuse que peu d’utilisateurs respectaient en pratique. Mais surtout, elle ne répondait pas à la question fondamentale qui les intéresse : que gagne-t-on à passer de la version A à la version B ?

En effet, l’approche traditionnelle dite « fréquentiste » indique juste s’il y a une différence entre 2 versions, mais ne qualifie pas l’ampleur de celle-ci.

Heureusement avec les progrès de l’informatique et de solides compétences statistiques, les alternatives sont envisageables, comme l’approche bayésienne. Celle-ci fournit des informations plus fines à l’aide d’intervalles de confiance sur les gains mesurés ce qui évite de vous induire en erreur.

D’autres innovations permettent également de minimiser les coûts d’opportunité d’un test. Le temps de départager deux versions, une partie du trafic est renvoyée vers une version non optimale, d’où des pertes.

En répondant à la problématique dite du multi-armed bandit, ces innovations sécurisent vos tests pour davantage de conversions.