Calcul de la taille de l’échantillon dans les tests A/B : 7 bonnes pratiques

Le calcul de l’échantillon pour les tests A/B simplifié

Fondamentalement, le processus de test A/B est conçu pour fournir des résultats fiables, afin que vous puissiez prendre des décisions fondées sur des données concrètes. Cependant, déterminer le nombre de visiteurs à inclure dans l’échantillon pour que ces résultats soient fiables peut dépendre de plusieurs facteurs. Heureusement, il existe aujourd’hui des outils en ligne qui vous aident à éliminer toute approximation de ce processus, sans qu’il soit nécessaire d’avoir un diplôme en mathématiques.

Comment fonctionne le calcul de la taille de l’échantillon

La raison principale pour laquelle il est important de calculer la taille d’échantillon adéquate pour un test donné est de s’assurer que celui-ci soit représentatif de l’ensemble de votre public. Cela garantira ainsi la fiabilité des résultats de votre test et vous aidera à éviter les faux positifs et les faux négatifs. Si votre échantillon est trop petit, vous risquez d’obtenir des résultats extrêmement trompeurs. S’il est trop grand, vous risquez de gaspiller du temps et des ressources sans en tirer aucune information utile. 

En règle générale, il est recommandé de disposer d’un échantillon d’au moins 10 000 visiteurs par variante de test et d’au moins 300 conversions pour chacune d’entre elles. Cependant, vous pouvez calculer la taille d’échantillon adéquate pour une variante de test A/B donnée à l’aide d’une formule mathématique standard qui se présente comme suit :

Voici une explication de la signification de chaque lettre dans l’équation :

• n correspond à la taille d’échantillon requise pour chaque variante de test
• p₁ correspond au taux de conversion de référence
• p₂ correspond au taux de conversion augmenté de l’effet minimal détectable absolu
• Z_⍺/2 correspond au score Z pour le niveau de signification statistique
• Z_β est le score Z de la puissance statistique

Ça a l’air compliqué ? Avant de te précipiter sur ton manuel d’algèbre, pas de panique ! Voyons plutôt ce que signifient réellement les variables ci-dessus :

• Taux de conversion de référence : le taux de conversion actuel pour l’objectif spécifique que vous cherchez à améliorer. Il peut s’agir, par exemple, du taux d’abonnement, du taux de transaction ou du taux de clics.
• Effet minimal détectable(MDE) : la plus petite variation du taux de conversion que vous souhaitez détecter avec une fiabilité statistique. Cela détermine essentiellement le niveau de sensibilité de votre test A/B.
• Niveau de signification statistique : la probabilité que la différence entre votre taux de conversion de référence et le taux de conversion d’une variante testée ne soit pas due au hasard. La norme admise pour la signification statistique est de 95 %. Le score Z correspondant à un niveau de signification de 95 % est de 1,96.
• Puissance statistique : la probabilité que votre test détecte un effet réel lorsqu’il existe. Là encore, la pratique courante consiste à fixer la puissance à 80 %, ce qui signifie que vous avez 80 % de chances de repérer un véritable effet significatif. Le score Z correspondant à une puissance de 80 % est de 0,84.

Heureusement, il existe aujourd’hui toute une gamme d’outils en ligne qui se chargent pour vous de ce calcul quelque peu intimidant. Pour la plupart d’entre eux, il suffit généralement de saisir les variables indiquées ci-dessus.

Il convient de noter que l’effet minimal détectable (MDE) et la puissance statistique ont tous deux une incidence directe sur la taille de l’échantillon d’un test. Si vous souhaitez obtenir une puissance statistique plus élevée (c’est-à-dire plus de chances de repérer un produit gagnant) ou un MDE plus faible (c’est-à-dire une plus grande sensibilité du test), votre échantillon devra être plus important. Cela peut avoir une incidence sur la durée d’exécution d’un test et sur les ressources nécessaires.

À un moment donné, il faut se poser la question suivante : est-ce que ça en vaut la peine ?

Différentes méthodes de calcul de la taille de l’échantillon

De nombreuses plateformes en ligne recommandent de calculer la taille de l’échantillon d’un test A/B lors de la phase de planification préalable au test. Mais chez AB Tasty, nous estimons que c’est trop tard. En effet, si vous constatez que ce chiffre est trop élevé, ce qui signifie que le test devrait durer trop longtemps pour être réalisable dans la pratique, il est alors tout simplement inutile de créer la variante.

C’est pourquoi nous avons développé un calculateur de MDE spécialement conçu pour la phase de planification préalable aux tests. Cet outil vous aide à déterminer l’augmentation minimale requise et le temps nécessaire pour qu’une expérience atteigne une signification statistique, en se basant sur vos données historiques réelles. Vous pourrez ainsi définir des attentes réalistes avant de lancer un test.

Utiliser notre calculateur d’effet minimal détectable est un jeu d’enfant :

Nous proposons également un calculateur d’échantillon qui vous aide à déterminer le nombre de visiteurs requis pour votre test et à estimer la durée nécessaire pour obtenir les résultats souhaités. Cet outil est destiné aux tests en cours et ne doit pas être utilisé pour la planification préalable des tests.

Pour estimer le nombre de visiteurs :

• Vous saisissez le taux de conversion actuel pour l’objectif que vous cherchez à améliorer, ainsi que l’augmentation attendue entre les différentes variantes du test.
• Notre calculateur estime ensuite le nombre de visiteurs nécessaires pour chaque variante du test.

Pour estimer la durée de votre test A/B :

• En plus des informations saisies à l’étape précédente, vous devez indiquer le nombre moyen de visiteurs uniques quotidiens d’une page testée ainsi que le nombre total de variantes du test, y compris la version de référence.
• Notre calculateur estime ensuite la durée minimale nécessaire du test, en jours, pour obtenir les résultats souhaités. Ce chiffre doit toutefois être considéré avec prudence, comme expliqué ci-dessous.

Bonnes pratiques et pièges à éviter

Voyons maintenant quelques-unes des principales choses à faire et à ne pas faire lors du calcul de la durée des tests et de la taille de l’échantillon.

1. Effectuer des tests pendant au moins 14 jours

Même si vous atteignez votre taille d’échantillon cible en quelques jours, ou si notre calculateur de durée de test indique le contraire, il est recommandé de mener un test A/B pendant au moins deux semaines. Cela permet de tenir compte des variations dans le comportement des utilisateurs, comme les différences de trafic entre les jours de semaine et le week-end, et garantit une bien plus grande fiabilité de vos données.

2. Tenir compte des facteurs externes tels que la saisonnalité

Certaines périodes de l’année, comme Noël, le Black Friday ou les week-ends fériés, peuvent fausser vos résultats si vous effectuez un test à ces moments-là. Vous devrez en tenir compte si vous souhaitez que votre échantillon reste représentatif de votre audience habituelle.

3. N’interrompez pas un test trop tôt

Vous devez également résister à la tentation de consulter les résultats du test avant que la durée prévue et la taille de l’échantillon aient été atteintes. Cela augmenterait considérablement le risque de tirer des conclusions erronées concernant le test.

Notre agent IA Evi Analysis s’appuie sur la signification statistique pour vous indiquer si une variante particulière est performante. Pour qu’il fonctionne correctement, vous ne devez demander à Evi d’interpréter les résultats qu’une fois que le test a atteint le nombre de visiteurs recommandé par le calculateur de taille d’échantillon. En effet, Evi Analysis ne peut pas savoir a priori que vous aviez prévu une taille d’échantillon de, disons, 100 000 visiteurs, mais que vous avez décidé d’arrêter après seulement 10 000.

4. Ne négligez pas la significativité pratique

Le fait que les résultats d’un test soient statistiquement significatifs ne signifie pas pour autant qu’ils aient une application concrète pour votre entreprise. Si la mise en œuvre d’un changement suggéré par les résultats d’un test s’avère trop coûteuse, il n’est peut-être pas utile de réaliser ce test.

5. Donnez la priorité aux pages les plus consultées

Dans un premier temps, les tests doivent se concentrer sur les pages de votre site web susceptibles d’attirer le plus grand nombre de visiteurs. Il s’agit par exemple de la page d’accueil, des pages de liste de produits (PLP) ou des pages de détail des produits (PDP). Le trafic plus important sur ces pages vous permettra de collecter des données plus rapidement et de mener des tests plus efficacement.

6. Limiter le nombre de variantes

Tester plusieurs variantes à la fois peut sembler plus efficace, mais cela augmente le risque de faux positifs. Si vous effectuez des tests sur des pages à faible trafic, le fait de limiter le nombre de variantes permet d’éviter de disperser trop l’échantillon de visiteurs.

7. Cibler un large public

Dans la mesure du possible, effectuez des tests A/B dans plusieurs pays ou sur plusieurs segments afin d’augmenter la taille de l’échantillon.

Conclusion : passer des conjectures à la croissance

Déterminer la taille d’échantillon adéquate pour vos tests A/B est essentiel pour obtenir des résultats statistiquement significatifs auxquels vous pouvez vous fier. Mais vous n’avez plus besoin d’être un as en maths pour déterminer la taille d’échantillon nécessaire.

En utilisant notre calculateur de MDE pour la planification préalable des tests et en respectant les bonnes pratiques en matière de taille de l’échantillon et de durée des tests, vous pouvez vous assurer que vos tests A/B seront à la fois plus efficaces et plus fiables.

Prêt à passer du calcul à la conversion ?

FAQ

Vous avez encore des questions sur les calculateurs de taille d’échantillon ? Voici les réponses dont vous avez besoin.

Pourquoi le calcul de la taille de l’échantillon est-il important dans les tests A/B ?

Le calcul de la taille de l’échantillon permet à votre test d’avoir une puissance suffisante pour détecter une différence significative entre les variantes, tout en évitant le gaspillage de ressources. Un échantillon trop petit peut entraîner des faux négatifs, tandis qu’un échantillon trop grand peut s’avérer inefficace ou exposer inutilement un trop grand nombre d’utilisateurs.

Quelle méthode dois-je utiliser pour calculer la taille de l’échantillon ?

En général, on utilise une analyse de puissance qui tient compte de l’ampleur d’effet attendue, du niveau de signification (α) et de la puissance souhaitée (1−β). Des outils tels que des calculateurs en ligne ou des logiciels statistiques peuvent s’avérer utiles ; ils fonctionnent selon une approximation binomiale ou normale, en fonction de la métrique choisie.

Comment détermine-t-on l’effet minimal détectable (MDE) pour un test A/B ?

Le MDE correspond à la plus petite variation entre votre version de référence et votre variante que vous jugez significative d’un point de vue pratique. Il est calculé en fonction des objectifs commerciaux, des taux de conversion de référence et de la puissance statistique souhaitée – généralement en déterminant quelle augmentation des indicateurs (par exemple, le taux de clics ou le chiffre d’affaires) justifierait la mise en œuvre de la nouvelle variante.