• On recrute - rejoignez-nous
  • Langue
A/B Testing, Optimisation Conversions

Comment calculer l’évolution de vos taux de conversion ?

by Hubert Wassner
Partager sur linkedin
Share on Linkedin
Partager sur facebook
Share on Facebook
Partager sur twitter
Share on Twitter

Concrètement, quand on parle CRO – ou optimisation du taux de conversion -, de quoi parle-t-on ? De conversion bien sûr, mais plus exactement de son évolution. En effet, ce que l’on cherche à mesurer avant tout, c’est l’évolution entre deux populations exposées à deux processus d’achat différents. Principale difficulté de cette mesure : il s’agit d’un processus aléatoire du fait de l’interférence de nombre de raisons extérieures au site web. De plus, la mesure est incomplète : en effet, on ne mesure qu’une partie de la population alors que l’on souhaite utiliser cette information pour prédire les taux de conversion sur l’audience totale du site web. Résultat, impossible de se fier uniquement aux données récoltées et de décréter le gagnant comme étant la variation qui génère le plus de conversions. Mais alors comment faire ? La réponse dans cet article.

Le problème exprimé ici est précisément celui des test statistiques. Le plus simple, le plus ancien et le plus connu, pour répondre à cette question, est le test du Chi² (prononcez “ki deux”). Mais aujourd’hui, grâce à l’évolution de l’informatique, nous sommes en capacité d’utiliser un autre test : le test bayésien, bien plus adapté à la pratique des tests A/B sur le web.

Les grands principes de distribution statistique

Pour comprendre le test bayésien, il est nécessaire de bien comprendre le principe de distribution en statistique.

La distribution la plus connue

Parmi les différents types de distribution, une que vous connaissez probablement : la distribution gaussienne, qui a une forme de cloche. À quoi sert-elle ? Elle permet de modéliser, par exemple, la distribution de la taille, du poids ou du QI d’une population.

Sur l’axe horizontal est représentée la mesure d’intérêt (ici le QI) et sur l’axe vertical, la vraisemblance de cette mesure (la vraisemblance est un concept statistique). Pour notre objectif, il suffit de comprendre que plus une mesure a de vraisemblance, plus vous avez de chances de la rencontrer.
Typiquement dans cet exemple, un QI de 100 est le plus probable, un QI supérieur à 145 est très rare, ainsi qu’un QI inférieur à 55. Ce type de distribution possède deux paramètres :

  • La moyenne (qui définit où est la zone du maximum de vraisemblance)
  • La variance (qui définit l’étalement de la courbe)

En résumé, une distribution est donc une fonction qui permet de manipuler la répartition d’une mesure.

La distribution bêta

S’il existe un tas de distributions différentes qui permettent de modéliser des phénomènes aléatoires différents, la Gaussienne n’est pas adaptée à notre problème de mesure de taux de conversion. C’est la distribution bêta qui va nous aider. Comment ? Parce qu’elle permet d’estimer l’imprécision d’un taux de conversion dû à l’incomplétude de la mesure.

Quels paramètres utilise-t-elle ?

  • Le nombre de conversions sur la sous-population testée
  • Et le nombre “d’échecs” (c’est-à-dire le nombre de visiteurs n’ayant pas converti)

Dans l’exemple ci-dessous est représentée une distribution bêta paramétrée pour 5 conversions et 100 visiteurs (soit 95 non-conversions).

Sur l’axe horizontal sont représentés les taux de conversion possibles pour l’ensemble de la population, et sur l’axe vertical, la vraisemblance correspondante à ces taux de conversion. On y voit alors que le taux le plus vraisemblable est de 5 % (là où la courbe atteint son maximum). Toutefois, nul besoin de distribution bêta pour se douter qu’avec cinq conversions pour cent visiteurs, le taux de conversion sur l’ensemble de la population approche les 5 %.

Alors pourquoi s’attarder sur ce type de distribution ? Zoomons alors un peu pour entrer davantage dans les détails (notez le changement d’échelle sur l’axe horizontal) :

Que nous apprend cet exemple ? Que si 5 % est le taux le plus probable, les taux compris entre 2,5 % et plus de 10 % sont aussi assez vraisemblables (car la courbe est loin d’être nulle sur cette zone). En revanche, avec une mesure de 5 % sur une population de cent visiteurs, on sait qu’il est quasiment impossible que le taux sur l’ensemble de la population soit supérieur à 20 %.

Si on augmente le nombre de visiteurs jusqu’à mille pour A et pour B, on obtient les courbes suivantes :

On constate que les distributions bêta sont alors plus étroites, ce qui signifie que les mesures de taux de conversion sont plus précises.

Donc, grâce aux distributions bêta, il est possible de quantifier l’incertitude d’une mesure en fonction de la taille de la sous-population sur laquelle a été effectuée la mesure. Une analyse utile, mais en pratique dans le CRO, ce qui nous intéresse, ce n’est pas le taux de conversion. En effet, ce taux évolue selon les saisons (soldes, Noël, black friday, etc..). Ce qui nous intéresse précisément, c’est son évolution lors d’une expérience au cours de laquelle deux variations A & B sont évaluées sur une même période.

Comparaison des taux de conversion

Comment ensuite comparer deux distributions bêta pour obtenir la distribution de la différence et pouvoir en tirer des conclusion business ? Commençons par tracer les deux courbes bêta correspondant au nombre de conversions et de visiteurs de chaque variation.

Imaginons le cas suivant :

  • A : 100 visiteurs & 5 conversions
  • B : 100 visiteurs & 7 conversions

Ces deux courbes se chevauchent : leurs zones de vraisemblance non nulle sont quasi identiques. On peut en conclure intuitivement que la différence, mesurée entre A & B sur cent visiteurs, n’est pas significative. Il est vraisemblable en effet que, si on testait les variations A & B sur une population plus importante, on trouverait un résultat notablement différent de 5 % et 7 %.

Dans le CRO, ce n’est pas tant les valeurs des taux de conversion qui sont intéressantes puisqu’elles peuvent dépendre de la “saison”. Ce qui nous intéresse, c’est la différence de taux de conversion entre A & B. Comment alor calculer la distribution de cette différence en partant des distributions bêta ?

Il est possible de générer des tirages aléatoires qui suivent les distributions bêta. À la clé : on va obtenir des valeurs aléatoires de taux de conversion, valeurs qui seront d’autant plus probables que leur vraisemblance est importante. Donc typiquement pour la courbe bleue, 5 % sera la plus fréquente, mais on peut aussi avoir plus rarement des 2 % ou 3 %, et quasiment jamais de 20 %.

On va générer des listes de tirages de ce type pour A et pour B. Par exemple :

  • A = [ 5.24956936, 4.102413 , 3.84757302, …, 7.37302802, 10.8135839 , 5.63399529]
  • B = [8.15930772, 8.92646826, 4.82939306, …, 7.52583305, 5.41689471, 8.93254954]

Dès lors, on peut calculer la différence, terme à terme, de ces tirages :
B-A = [ 2.90973837, 4.82405517, 0.98182004, …, 0.15280503, -5.39668919, 3.29855425]

Pour finir, on calcule l’histogramme de cette liste de valeurs :

Les différences de taux de conversion sont représentées sur l’axe horizontal, et la vraisemblance d’une telle différence sur l’axe vertical. On voit donc, conformément à l’intuition, qu’une différence de 2 % est la plus probable. Cependant, notre expérience, réalisée sur cent visiteurs uniquement, pourrait très bien “cacher” également une différence de 5 %. Il est à noter que -5 % est aussi possible. Dans ce cas, il s’agit alors d’une perte de conversions !

En suivant cette logique, il est possible d’estimer la probabilité que la variation B soit gagnante. Comment ? En comptant le nombre de valeurs de la liste B-A qui sont strictement positives, ce qui, dans notre exemple, aboutit à environ 72 % (ce qui laisse encore 28 % de chance que B soit moins performante que A).

Autre méthode : on peut aussi considérer qu’il s’agit de la proportion de la surface bleue du graphe ci-dessus dont les x (axe horizontal) sont positifs.

De même que pour les distributions bêta, cette distribution de différence de taux de clic s’affine avec l’augmentation du nombre de visiteurs exposés à l’expérience. En pratique, on espère aussi qu’elle se déplacera vers la droite, laissant le 0 de l’axe horizontal sur sa gauche. Pourquoi ? Parce que cela voudra dire que la différence de taux de conversion est strictement positive. Dans ce cas, le calcul de la probabilité de gain (pour B) s’approchera des 100 %. A noter que pour des raisons de simplicité de présentation, on n’affiche pas ces courbes, mais plutôt des intervalles de confiance. Cela correspond aux bornes qui recouvrent 95% de la surface bleue ci-dessus.

Être capable de prédire de combien une variation va améliorer le taux de conversion est important. En effet, l’implémentation d’une variation a toujours un coût (même faible) et ce coût doit être couvert par le gain. Dans certains cas, c’est même primordial car la variation testée génère ses propres coût à l’usage : en particulier concernant tous les systèmes tiers comme les outils de recommandation produit ou les chatbots par exemple.

Nous avons donc vu comment transformer des données métier (nombre de visiteurs et de conversions) en données statistiques plus adaptées à la prise de décision. Dès lors, il est possible de répondre par des probabilités aux questions que l’on se pose dans la pratique du CRO. Par exemple : quelle est la probabilité qu’une variation soit réellement meilleure que l’originale ? Ou quel est le gain minimal / maximal qu’une variation peut apporter ? Désormais, vous avez une idée plus claire de ce qu’il se passe derrière les probabilités et intervalles de confiance que vous pouvez lire dans les rapports AB Tasty. Et pour plus de précisions, n’hésitez pas à vous rapprocher de votre CSM pour vous aider à interpréter correctement vos résultats de tests.