Lorsque vous lancez des A/B tests pour améliorer votre taux de conversion, il est fortement recommandé de calculer la taille de l’échantillon avant le test et de mesurer votre intervalle de confiance.
C’est à cela que servent les calculateurs de taille d’échantillon. On vous demande le taux de réussite actuel (taux de conversion) et la taille de l’effet minimal à mesurer. Le résultat du calcul donne la taille de la population nécessaire pour mener correctement une telle expérience.
Or cette situation se reflète mal dans « le monde digital », et ce pour trois raisons principales :
- Mesurer les conversions ne coûte rien (contrairement à l’industrie).
- Le nombre de visiteurs est une partie du problème (pas la réponse).
- L’effet de la variation est difficile à prévoir (en pratique, c’est précisément la question que vous vous posez !).
Il est donc très difficile d’utiliser des calculateurs de taille d’échantillon. C’est pourquoi nos data scientists chez AB Tasty ont développé un calculateur d’effet minimum détectable (EMD).
Entrez simplement le nombre de visiteurs que vous avez sur votre site et le taux de conversion de la page que vous voulez tester !
Calculateur de l’effet minimum détectable
Calculateur pour A/B Test
Calculez la taille minimale de l’échantillon ainsi que la durée idéale de vos A/B tests en fonction de votre audience, des conversions et d’autres facteurs tels que l’effet minimum détectable.
De combien d’utilisateurs avez-vous besoin ?
Quelle doit être la durée de votre A/B test ?
Notre calculateur pour A/B test vous donne également une idée de la durée de votre A/B test. Pour que ce calculateur de durée de test fonctionne, veuillez indiquer les informations ci‑dessus, ainsi que votre trafic quotidien moyen sur la page testée et votre nombre de variations – y compris la version de contrôle.
Veuillez noter que cette durée est une estimation basée sur vos paramètres et suppose des conditions idéales. Conformément aux bonnes pratiques AB Tasty, nous recommandons de faire tourner votre test A/B pendant au moins 14 jours, même lorsque la durée estimée est inférieure. En savoir plus sur les raisons pour lesquelles une période de 14 jours est recommandée pour un test A/B.
Trouvez vos réponses ici
Your paragraph text here
Qu’est-ce qu’un calculateur de taille d’échantillon
Notre calculateur de taille d’échantillon permet de calculer facilement la taille de la population nécessaire pour qu’un test soit statistiquement significatif (par exemple, le nombre de visiteurs dont vous avez besoin pour estimer qu’une perte ou un gain de x % est fiable avec un niveau de confiance de 95 %).
Qu’est-ce que l’hypothèse nulle ?
L’hypothèse nulle est la règle des tests statistiques « fréquentistes », selon laquelle il n’y a pas de différence entre les variations (d’où le nom « nulle »).
Lorsque le résultat d’un test est négatif, cela signifie qu’il y a bien une différence : on nie l’hypothèse nulle. Au contraire, lorsque le résultat du test est positif, cela signifie qu’il n’y a pas de différence entre les variations.
Ceci est lié au concept de la valeur-p.
Qu’est ce que la valeur-p ?
La valeur-p est la probabilité du résultat d’un A/B test compte tenu de l’hypothèse nulle.
En résumé, si la valeur-p est faible (inférieure à 0,05), il est peu probable que l’hypothèse nulle soit vraie, c’est-à-dire qu’il y ait une différence entre les variations.
Au contraire, si la valeur-p est élevée (supérieure à 0,05), l’hypothèse nulle est vraisemblablement vraie, ce qui signifie qu’il n’y a probablement pas de différence réelle entre les variations. À ce stade, vous ne pouvez pas conclure et vous avez besoin de plus de données pour poursuivre l’analyse.
Cette valeur-p n’informe que sur l’existence d’une différence, elle ne donne aucune information sur sa taille ou sur le fait de savoir si A > B ou B > A.
Remarque : la formulation de la valeur-p étant un peu confuse, elle est souvent traduite en « niveau de confiance » à l’aide du pourcentage : (1 – valeur p)*100″.
Qu’est-ce que la signification statistique ?
Atteindre la signification statistique veut dire que le niveau de confiance est égal ou supérieur à un seuil donné. La théorie veut que ce seuil soit fixé une seule fois : avant le début de l’expérience.
Pour le seuil de confiance, un seuil conventionnel de signification statistique est de 95 % (correspondant à une p-valeur de 0,05), mais ce n’est qu’une convention.
Ce seuil doit être fixé en tenant compte des caractéristiques propres à chaque entreprise, car il est directement lié au risque jugé raisonnable pour l’expérience.
N’oubliez pas non plus qu’une signification statistique de 95 % signifie que, statistiquement, 1 résultat sur 20 sera erroné, sans qu’il soit possible de le détecter.
Sur quel algorithme est basé ce calculateur de signification statistique ?
L’algorithme est actuellement basé sur une estimation de la formule de la statistique z, généralement utilisée pour la distribution normale. AB Tasty propose également des A/B tests bayésiens et des tests Multi-armed Bandit
Qu’est-ce que la « puissance statistique » d’un test ?
La puissance statistique est la capacité d’un test à détecter un effet, si l’effet existe réellement, c’est-à-dire : détecter une différence entre des variations si une différence réelle existe.
Quelles sont les erreurs de type I et II ?
Les prédictions comportent deux types d’erreurs. Pour les A/B test, une erreur de type I, également appelée « faux positif », consiste à déclarer une mauvaise variation comme gagnante, tandis qu’une erreur de type II consiste à manquer une variation gagnante.
La distinction n’est pas seulement théorique : les erreurs de type I et de type II n’impliquent souvent pas le même coût ! Il est donc souhaitable de les traiter différemment
Quelle est la différence entre un test unilatéral et un test bilatéral ?
La différence réside dans la portée de leurs résultats :
Les tests unilatéraux ne donnent qu’une seule information sur la question de savoir si A = B ou non. Si A != B, il se peut que A > B ou A < B.
Les tests bilatéraux donneront une information supplémentaire : si A != B, est-ce que A > B ou A < B ?
Cette information est très importante pour les A/B tests, car le sens d’une différence, s’il y en a une, est généralement inconnu avant le début de l’expérience.
Les tests bilatéraux sont plus sûrs et c’est ce que nous utilisons chez AB Tasty.
Grow faster with ABTasty
Get a custom walkthrough of the plateform