Calcular el Tamaño de Muestra en A/B Tests de Forma Sencilla

En esencia, el proceso de A/B testing está diseñado para generar resultados fiables que te permitan tomar decisiones basadas en datos concretos. Sin embargo, determinar cuántos visitantes necesitas incluir en la muestra para poder confiar en esos resultados puede depender de diversos factores. Afortunadamente, hoy en día existen herramientas en línea que te ayudan a eliminar las conjeturas del proceso, sin necesidad de tener un título en matemáticas.

¿Cómo funciona el cálculo del tamaño de muestra?

La razón principal para calcular el tamaño de muestra adecuado para una prueba de experimentación determinada es garantizar que esta sea representativa de todo tu público. A su vez, eso garantizará que los resultados de la prueba sean fiables y te ayudará a evitar falsos positivos y falsos negativos. Si el tamaño de la muestra es demasiado pequeño, podrías obtener resultados muy engañosos. Si es demasiado grande, podrías estar desperdiciando tiempo y recursos sin obtener ninguna información útil. 

Una regla general muy básica es contar con una muestra mínima de

10.000 visitantes por variación del test y al menos 300 conversiones para cada una. Sin embargo, puedes calcular el tamaño de muestra adecuado para una variante concreta, en A/B testing, con ayuda de una fórmula matemática estándar que tiene este aspecto:

A continuación se explica el significado de cada letra de la ecuación:

• n es el tamaño de la muestra necesario por variación de la prueba
• p₁ es la tasa de conversión de referencia
• p₂ es la tasa de conversión aumentada por el efecto mínimo detectable absoluto
• Z_⍺/2 es el valor Z correspondiente al nivel de significación estadística
• Z_β es el valor Z de la potencia estadística

¿Parece complicado? Antes de que vayas a buscar el libro de álgebra, ¡no te preocupes! Veamos qué significan realmente las variables anteriores:

• Tasa de conversión de referencia: la tasa de conversión actual del objetivo específico que estás tratando de mejorar. Puede tratarse, por ejemplo, de la tasa de suscripción, la tasa de transacciones o la tasa de clics.
• Efecto mínimo detectable (MDE): el cambio más pequeño en la tasa de conversión que se desea detectar con fiabilidad estadística. Esto determina, en esencia, el nivel de sensibilidad en A/B testing.
• Nivel de significación estadística: la probabilidad de que la diferencia entre la tasa de conversión de referencia y la tasa de conversión de una variante de prueba no se deba al azar. El estándar aceptado para la significación estadística es del 95 %. La puntuación Z para un nivel de significación del 95 % es 1,96.
• Potencia estadística: la probabilidad de que tu prueba de experimentación detecte un efecto real cuando este existe. Una vez más, la práctica habitual es fijar la potencia en el 80 %, lo que significa que tienes un 80 % de posibilidades de detectar un efecto significativo. La puntuación Z correspondiente a una potencia del 80 % es 0,84.

Afortunadamente, hoy en día hay una gran variedad de herramientas disponibles en Internet que realizan este cálculo, que puede resultar un poco intimidante, por ti. En la mayoría de los casos, lo único que tienes que hacer es introducir las variables mencionadas anteriormente.

Cabe señalar que tanto el efecto mínimo detectable (MDE) como la potencia estadística guardan una relación directa con el tamaño de la muestra de una prueba. Si se desea una mayor potencia estadística (es decir, más posibilidades de detectar un ganador) o un MDE más pequeño (es decir, una mayor sensibilidad de la prueba), será necesario aumentar el tamaño de la muestra. Esto puede afectar al tiempo que tarda en ejecutarse una prueba de experimentación y a los recursos necesarios.

En algún momento, tendrás que preguntarte: ¿merece la pena?

Diferentes métodos para calcular el tamaño de muestra

Muchas plataformas en línea recomiendan calcular el tamaño de muestra en A/B testing, durante la fase de planificación previa a la prueba de experimentación. Sin embargo, en AB Tasty creemos que es demasiado tarde. Y es que, si descubres que esa cifra es demasiado elevada —lo que significa que la prueba tendría que durar demasiado tiempo como para ser viable en la práctica—, entonces no tiene sentido crear la variante.

Por esa razón hemos desarrollado una calculadora del efecto mínimo detectable (MDE) diseñada específicamente para la fase de planificación previa a la prueba. Esto te ayuda a comprender el aumento mínimo necesario y cuánto tiempo necesitarías para que un experimento alcance la significación estadística, basándonos en tus datos históricos reales. De este modo, te asegurarás de establecer expectativas realistas antes de poner en marcha una prueba.

Usar nuestra calculadora del MDE no podría ser más fácil:

También disponemos de una calculadora del tamaño de lamuestra que te ayuda a determinar el número de visitantes necesario para tu prueba de experimentación y a estimar cuánto tiempo debe durar esta para obtener los resultados deseados. La herramienta debe utilizarse para pruebas de experimentación en curso, y no para la planificación previa a las mismas.

Para calcular el número de visitantes:

• Introduce la tasa de conversión actual del objetivo que deseas mejorar y el aumento previsto entre las variantes de la prueba.
• A continuación, nuestra calculadora calcula el número necesario de visitantes por cada variación.

Para calcular la duración en A/B testing:

• Además, añade también el número promedio de visitantes únicos diarios de la página en prueba y el total de variaciones, incluida la versión de control.
• A continuación, nuestra calculadora estima la duración mínima necesaria de la prueba, en días, para alcanzar los resultados deseados. Sin embargo, esta cifra debe interpretarse con cautela, tal y como se explica a continuación.

Buenas prácticas y errores a evitar

Veamos ahora algunos de los aspectos más importantes que hay que tener en cuenta a la hora de calcular la duración del test y el tamaño de muestra.

1. Realizar pruebas de experimentación durante un mínimo de 14 días

Aunque alcances el tamaño de muestra previsto en pocos días, o aunque nuestra calculadora de la duración de pruebas de experimentación sugiera lo contrario, lo más recomendable es realizar un A/B test durante un mínimo de dos semanas. Esto permite tener en cuenta las variaciones en el comportamiento de los usuarios, como las diferencias de tráfico entre días laborables y fines de semana, y garantiza que tus datos sean mucho más fiables.

2. Tener en cuenta factores externos como la estacionalidad

Ciertos periodos del año, como Navidad, el Black Friday o los fines de semana festivos, pueden sesgar los resultados si realizas una prueba de experimentación en esas fechas. Deberás tenerlos en cuenta si quieres que tu muestra siga siendo representativa de tu público habitual.

3. No interrumpas una prueba de experimentación antes de tiempo

También debes evitar la tentación de consultar los resultados de la prueba antes de que se haya completado la duración de la misma y se haya alcanzado el tamaño de muestra. Hacerlo aumenta considerablemente las posibilidades de llegar a una conclusión errónea sobre la prueba.

Nuestro agente de IA Evi Analysis se basa en la significación estadística para indicarte si una variante concreta es la ganadora. Para que funcione correctamente, solo debes pedirle a Evi que interprete los resultados una vez que la prueba haya alcanzado el número de visitantes recomendado por la calculadora del tamaño de la muestra. Esto se debe a que Evi Analysis no puede saber de antemano que tenías previsto un tamaño de muestra de, por ejemplo, 100.000 visitantes, pero decidiste detenerla tras solo 10.000.

4. No ignores la significancia práctica

Un resultado estadísticamente significativo no siempre es útil para tu negocio. Si implementar el cambio es demasiado costoso, quizás no valga la pena realizar la prueba de experimentación.

5. Da prioridad a las páginas con mayor tráfico

Las pruebas de experimentación deben centrarse inicialmente en las páginas de tu sitio web que probablemente reciban más visitas. Por ejemplo, la página de inicio, las páginas de listado de productos (PLP) o las páginas de detalles de producto (PDP). El mayor volumen de tráfico hacia estas páginas te permitirá recopilar datos más rápidamente y realizar pruebas de experimentación más ágiles.

6. Limita el número de variaciones

Probar más variaciones a la vez puede parecer más eficiente, pero aumenta el riesgo de obtener falsos positivos. Si realizas pruebas de experimentación en páginas con poco tráfico, utilizar menos variaciones evita dispersar demasiado la muestra de visitantes.

7. Dirígete a un público amplio

Siempre que sea posible, realiza A/B testing en varios países o segmentos para aumentar el tamaño de muestra.

Conclusión: De las conjeturas al crecimiento

Calcular el tamaño de muestra adecuado para tus A/B testing es fundamental para obtener resultados estadísticamente significativos en los que puedas confiar. Pero ya no hace falta ser un genio de las matemáticas para saber cuál debe ser el tamaño de tu muestra.

Gracias a nuestra calculadora del MDE y a las buenas prácticas en relación al tamaño de muestra y duración de las pruebas de experimentación, podrás asegurarte de que tu A/B testing sean más efectivo y fiable.

¿Listo para pasar del cálculo a la conversión?

Preguntas frequentes

¿Todavía tienes dudas sobre las calculadoras de tamaño de muestra? Aquí tienes las respuestas que necesitas.

¿Por qué es importante calcular el tamaño de muestra en las A/B testing?

El cálculo del tamaño de muestra permite que tu prueba de experimentación tenga la potencia suficiente para detectar una diferencia significativa entre las variantes, evitando al mismo tiempo el desperdicio de recursos. Una muestra demasiado pequeña puede dar lugar a falsos negativos, mientras que una muestra demasiado grande puede resultar ineficaz o exponer innecesariamente a demasiados usuarios.

¿Qué método debo utilizar para calcular el tamaño de muestra?

Por lo general, se utiliza un análisis de potencia que tiene en cuenta el tamaño del efecto esperado, el nivel de significación (α) y la potencia deseada (1−β). Herramientas como las calculadoras en línea o los programas de estadística pueden resultar útiles, ya que funcionan basándose en una aproximación binomial o normal, dependiendo de la métrica que se utilice.

¿Cómo se determina el efecto mínimo detectable (MDE) en A/B testing?

El MDE es la variación mínima entre la versión de control y la variante que se considera significativa desde el punto de vista práctico. Se calcula en función de los objetivos empresariales, las tasas de conversión de referencia y la potencia estadística deseada; por lo general, se determina qué aumento en las métricas (por ejemplo, la tasa de clics o los ingresos) justificaría la implementación de la nueva variante.