Cómo Calcular el Tamaño de la Muestra en A/B Testing: 7 Buenas Prácticas

Calcular el Tamaño de Muestra en A/B Tests de Forma Sencilla

El A/B testing está diseñado para generar resultados fiables que te permitan tomar decisiones basadas en datos reales. Pero antes de que esos resultados signifiquen algo, hay una pregunta que responder: ¿cuántos visitantes necesitas incluir en tu test para poder confiar en ellos?

El problema es que determinar ese número depende de varios factores, y ahí es donde el cálculo del tamaño de muestra puede convertirse en el elemento diferencial.

En este artículo te explicamos qué es el calculo del tamaño de la muestra en A/B testing, cómo calcularlo, qué herramientas puedes usar y qué buenas prácticas seguir para que cada test que lances te dé resultados sólidos, sin necesidad de tener un título en matemáticas.

¿Cómo funciona el cálculo del tamaño de muestra?

La razón principal para calcular el tamaño de muestra adecuado es garantizar que tu test sea representativo de toda tu audiencia. Sin eso, los resultados pueden ser engañosos: una muestra demasiado pequeña genera conclusiones poco fiables, mientras que una demasiado grande desperdicia tiempo y recursos.

Como regla general, se recomienda un mínimo de 10.000 visitantes por variación del test y al menos 300 conversiones para cada una. Pero si quieres ser más preciso, puedes calcular el tamaño de muestra exacto con esta fórmula matemática estándar:

¿Qué significa cada variable?

• n es el tamaño de la muestra necesario por variación de la prueba
• p₁ es la tasa de conversión de referencia
• p₂ es la tasa de conversión aumentada por el efecto mínimo detectable absoluto
• Z_⍺/2 es el valor Z correspondiente al nivel de significación estadística
• Z_β es el valor Z de la potencia estadística

¿Parece complicado? Antes de que vayas a buscar el libro de álgebra, ¡no te preocupes! Veamos qué significan realmente las variables anteriores:

• Tasa de conversión de referencia: la tasa de conversión actual del objetivo específico que estás tratando de mejorar. Puede tratarse, por ejemplo, de la tasa de suscripción, la tasa de transacciones o la tasa de clics.
• Efecto mínimo detectable (MDE): el cambio más pequeño en la tasa de conversión que se desea detectar con fiabilidad estadística. Esto determina, en esencia, el nivel de sensibilidad en A/B testing.
• Nivel de significación estadística: la probabilidad de que la diferencia observada entre variantes no sea fruto del azar. El estándar aceptado en la industria es del 95%, con un valor Z de 1,96.
• Potencia estadística: la probabilidad de que tu prueba de experimentación detecte un efecto real cuando este existe. Lo habitual es fijarla en el 80%, con un valor Z de 0,84, lo que significa que tienes un 80% de posibilidades de detectar un resultado relevante.

¿Aun no lo tienes claro?

Afortunadamente, hoy en día hay una gran variedad de herramientas disponibles en Internet que realizan este cálculo por ti, ya que puede resultar bastante complejo. En la mayoría de los casos, solo tienes que introducir las variables anteriores.

Cabe señalar que tanto el MDE como la potencia estadística están directamente relacionados con el tamaño de muestra. Si buscas una mayor potencia (más posibilidades de detectar un ganador) o un MDE más pequeño (mayor sensibilidad del test), necesitarás aumentar el tamaño de muestra. Eso puede afectar al tiempo de ejecución del test y a los recursos necesarios.

En algún momento, tendrás que preguntarte: ¿merece la pena?

Métodos para calcular el tamaño de muestra en A/B testing

Muchas plataformas recomiendan calcular el tamaño de muestra durante la planificación previa al test. En AB Tasty, creemos que eso es demasiado tarde. ¿Por qué? Si descubres en esa fase que el número de visitantes necesario es demasiado alto, el test no será viable en la práctica, y habrás creado la variante sin ningún motivo.

Por eso hemos desarrollado una calculadora del Efecto Mínimo Detectable (MDE), diseñada específicamente para la fase de planificación. Con ella puedes entender qué mejora mínima necesitas detectar y cuánto tiempo tardaría tu experimento en alcanzar los resultados deseados, basándose en tus datos históricos reales. Así estableces expectativas realistas antes de poner en marcha cualquier test.

Usar nuestra calculadora MDE es muy sencillo:

También disponemos de una calculadora del tamaño de muestra, útil para tests en curso (no para planificación previa). Te ayuda a determinar el número de visitantes necesario para tu prueba de experimentación y a estimar cuánto tiempo debe durar esta para obtener los resultados deseados.

Para calcular el número de visitantes necesarios:

• Introduce la tasa de conversión actual del objetivo y el aumento esperado entre variantes.
• La calculadora te dará el número de visitantes necesarios por cada variación.

Para calcular la duración del test:

• Añade el número promedio de visitantes únicos diarios de la página en test y el total de variaciones, incluida la versión de control.
• La calculadora estimará la duración mínima del test en días para alcanzar los resultados deseados. Sin embargo, esta cifra debe interpretarse con cautela, como se explica a continuación.

7 buenas prácticas para el cálculo del tamaño de muestra en A/B testing

Ya sabes por qué es importante el cálculo del tamaño de la muestra y los elementos que debes considerar,. Ahora, veamos cuáles son las buenas prácticas a tener en cuenta a la hora de calcular la duración del test y el tamaño de muestra.

1. Ejecuta el test durante un mínimo de 14 días

Aunque alcances el tamaño de muestra previsto en pocos días, o aunque la calculadora de duración sugiera algo distinto, lo más recomendable es mantener cualquier A/B test activo durante al menos dos semanas. Esto permite capturar variaciones reales en el comportamiento de los usuarios como las diferencias de tráfico entre días laborables y fines de semana, haciendo que los datos sean mucho más fiables.

2. Ten en cuenta la estacionalidad y los factores externos

Ciertos periodos del año, como Navidad, el Black Friday o los fines de semana festivos, pueden distorsionar los resultados si realizas un test en dichas fechas. Tenlos en cuenta para que tu muestra siga siendo representativa de tu audiencia habitual.

3. No pares el test antes de tiempo

Consultar los resultados antes de que el test haya concluido y se haya alcanzado el tamaño de muestra aumenta considerablemente el riesgo de llegar a conclusiones erróneas.

Por ello, contamos con una función de análisis de IA en AB Tasty: Evi Analysis. La herramienta utiliza la confianza estadística para indicarte si una variante concreta es ganadora.

Para que funcione correctamente, solo debes pedirle a Evi que interprete los resultados una vez que el test haya alcanzado el número de visitantes recomendado por la calculadora de tamaño de muestra. Evi no puede saber de antemano que planificabas una muestra de, por ejemplo, 100.000 visitantes si decides detener el test tras solo 10.000.

4. No ignores la significación práctica

El hecho de que los resultados de un test sean estadísticamente fiables no implica automáticamente que tengan una aplicación práctica para tu negocio. Si implementar el cambio sugerido resulta demasiado costoso, puede que no merezca la pena llevarlo a cabo.

5. Da prioridad a las páginas con más tráfico

Los tests deben centrarse inicialmente en las páginas de tu sitio web que probablemente reciban más visitas. Por ejemplo, la página de inicio, las páginas de listado de productos (PLP) o las páginas de detalles de producto (PDP). El mayor volumen de tráfico te permitirá recopilar datos más rápido y ejecutar tests más ágiles.

6. Limita el número de variaciones

Probar muchas variaciones a la vez puede parecer más eficiente, pero aumenta el riesgo de falsos positivos. Si trabajas con páginas de poco tráfico, usar menos variaciones evita dispersar demasiado la muestra.

7. Apunta a una audiencia amplia

Siempre que sea posible, aumenta el tamaño de muestra realizando A/B testing en varios países o segmentos. Hazlo solo si dicha ampliación sigue siendo representativa de la muestra original.

Conclusión: De las conjeturas al crecimiento

Como ves, el cálculo del tamaño de muestra es fundamental para obtener resultados fiables en tus A/B tests. Pero ya no hace falta ser experto en estadística para saber cuántos visitantes necesitas.

Con nuestra calculadora MDE y estas buenas prácticas, puedes asegurarte de que cada test que lances sea más efectivo, más ágil y más rentable.

¿Listo para pasar del cálculo a la conversión?

Preguntas frecuentes

¿Todavía tienes dudas sobre las calculadoras de tamaño de muestra? Aquí tienes las respuestas que necesitas.

¿Por qué es importante calcular el tamaño de muestra en las A/B testing?

Sin un tamaño de muestra adecuado, los resultados de tu test no son fiables. Una muestra demasiado pequeña aumenta el riesgo de falsos negativos, es decir, de no detectar una mejora real. Por otro lado, una muestra demasiado grande, consume recursos innecesarios y expone a más usuarios de los necesarios a una variante que aún no ha sido validada.

¿Qué método debo utilizar para calcular el tamaño de muestra?

Lo más habitual es un análisis de potencia, que tiene en cuenta tres variables: el tamaño del efecto que esperas detectar, el nivel de confianza (α) y la potencia deseada (1−β). En la práctica, no necesitas hacerlo a mano: las calculadoras online como la nuestra hacen el trabajo por ti.

¿Cómo se determina el efecto mínimo detectable (MDE) en A/B testing?

El MDE es la mejora mínima que tendría que producir una variante para que valga la pena implementarla. Para definirlo, hazte esta pregunta: ¿qué aumento en la tasa de clics, en los ingresos o en la métrica que te importa justificaría el coste de llevar ese cambio a producción? La respuesta a esa pregunta es tu MDE.