Nuestra calculadora de muestras te ayuda a calcular la muestra minima necesaria de usuario así como la duración de tus test en base a tu audiencia, tus conversiones y otra información como el efecto mínimo detectable. Puedes ampliar información en las FAQ más abajo en esta misma página.
Nuestra calculadora de la significancia estadística también te da una idea sobre la duración de tus test A/B. Para que podamos calcular la duración del test A/B correctamente, debes rellenar correctamente la información previa, así como la cantidad de tráfico diario en la página testeada y el número de variaciones, incluyendo la versión de control.
El objetivo de una calculadora de muestras es el de calcular la cantidad necesaria de usuarios para que un test sea estadísticamente significativo (la cantidad de usuarios necesarios para determinar el porcentaje de mejora o pérdida con una confianza del 95%).
La hipótesis nula es la convención existente en los test estadísticos frecuentistas que defiende que no existe diferencia alguna entre variaciones.
Cuando el resultado de un test es negativo, esto significa que existe una diferencia y por tanto estamos negando la hipótesis nula. Por otra parte, si el resultado de un test es positivo, esto significa que no existe diferencia entre las variaciones.
Esto está relacionado con el valor p.
El valor p es la probabilidad del resultado de un test A/B teniendo en cuenta la hipótesis nula.
En resumen, si el valor p es bajo (menor que 0,05), es poco probable que la hipótesis nula sea cierta, lo cual, quiere decir que existe diferencia entre las variaciones.
Por el contrario, si el valor p es alto (mayor que 0,05), entonces, es probable que la hipótesis nula sea cierta, lo cual implica que, probablemente, no exista una diferencia real entre las variaciones. Como mínimo, no tendríamos un resultado concluyente en ese momento y necesitaríamos más datos y más análisis.
El valor p solo informa sobre la existencia de una diferencia. No ofrece ninguna información sobre su tamaño o si A>B o B>A.
Nota: Debido a que el valor p es un concepto algo confuso, a menudo se traduce por “intervalo de confianza” usando porcentajes: (1- valor p) *100.
Alcanzar significancia estadística significa que el índice de confianza es igual o mayor que un nivel determinado. Dicho nivel se establece antes del comienzo del experimento.
El nivel de confianza convencional es del 95%, que corresponde a un valor p de 0,05, aunque esto se trata solo de una convención.
Este nivel debe establecerse teniendo en cuenta las características de cada empresa en particular, ya que está directamente relacionado con el riesgo (determinado como razonable) del experimento.
Ten en cuenta, también, que un 95% de significancia estadística significa que, estadísticamente, 1 de cada 20 resultados serán erróneos, sin posibilidad de detectarlo.
Actualmente, el algoritmo se basa en la extrapolación de la fórmula z-statistic, usada, normalmente, para la distribución normal.
El poder estadístico es la habilidad que tiene un test de detectar un efecto (si este existe), por ejemplo, detectando una diferencia entre variaciones, si la diferencia, de hecho, existe.
Al realizar predicciones, existen dos tipos de errores. Con respecto a los test A/B, un error tipo I, también llamado falso positivo, es declarar una versión “mala” como ganadora, mientras que un error tipo II consiste en no detectar una versión ganadora.
Los también llamados test de una y dos colas se diferencian principalmente en sus resultados.
Esto es realmente importante en el ámbito del A/B testing, ya que la dirección de una diferencia, si existe, es generalmente desconocida antes de que el experimento comience.
Los test bilaterales son más seguros de usar y son estos los que usamos en el motor estadístico Bayesiano de AB Tasty.
Todas las herramientas que necesitas para ofrecer experiencias digitales óptimas en una única plataforma
Obtén una demostración personalizada de la plataforma