Los test A/A no son demasiado conocidos y, a menudo, generan discusiones relacionadas con su utilidad, aunque lo cierto es que son bastante valiosos para alguien que busca integrar una nueva solución de A/B testing.
¿Qué es un test A/A y el A/A testing?
Podemos decir que un test A/A consiste en un tipo de A/B testing, aunque en este caso en particular, en lugar de comparar dos versiones distintas de una página, comparamos dos versiones idénticas.
Quizás, suene raro e improductivo al principio, pero tiene su sentido. El objetivo principal de los test A/A es el de verificar que la herramienta de A/B testing está correctamente configurada y que funciona como es debido.
Los test A/A son apropiados para:
- Comprobar que la herramienta de A/B testing es precisa.
- Establecer una tasa de conversión como referencia para futuros test.
- Decidir una muestra óptima para los futuros test.
Comprobando la precisión de una herramienta de A/B testing
Al realizar un test A/A, estaremos comparando dos versiones idénticas de una misma página.
Por supuesto, los resultados esperados de un test A/A deberían ser idénticos o muy parecidos para ambas versiones en cuanto a datos de conversión se refiere. La idea es probar que la herramienta de testing es efectiva.
Lógicamente, no debemos realizar este tipo de test continuamente y lo más normal es hacerlo cuando estamos configurando o probando una herramienta de A/B testing por primera vez o cuando cambiamos de proveedor.
En ocasiones, es posible que nos encontremos con un “ganador”, es decir, una de las dos versiones idénticas funciona mejor que la otra. En estos casos, debemos descubrir por qué se ha producido este resultado. Los test A/A pueden mostrar una versión como ganadora por varias razones:
- El test no se ha configurado correctamente
- La herramienta no se ha configurado correctamente
- La herramienta de A/B testing puede no ser efectiva
Estableciendo una tasa de conversión de referencia
Imaginemos que quieres configurar una serie de test A/B en tu página de inicio. Configuras tu herramienta, pero te encuentras con un problema: no sables con qué tasa de conversión deberías comparar tus futuros resultados.
En este caso, un test A/A te ayudará a encontrar el valor de referencia para tus futuros test A/B, multivariante, por redirección, etc.
Por ejemplo, si realizas un test A/A en la página de inicio donde el objetivo es que los usuarios rellenen un formulario, cuando compares los resultados obtendrás datos casi idénticos (lo cual sería lo normal): tasas de conversión del 5,01% y 5,05%. Podrás usar estos datos con la certeza de que verdaderamente representan tu tasa de conversión y podrás diseñar test A/B o de otro tipo para intentar mejorar este KPI. Si, al finalizar tu nuevo test, la herramienta te informa de que la versión ganadora cuenta con una tasa de conversión del 5,05%, en realidad significa que no ha habido ninguna mejora.
Encontrando la muestra óptima para tus futuros test
El problema a la hora de comparar dos versiones similares de una misma página es el factor suerte.
Debido a que los resultados de los test se calculan en base a estadísticas, existe un factor marginal de error que puede influenciar en los resultados de tus campañas de testing.
Reducir este margen de error es simple: amplia la muestra para reducir el riesgo de contar con factores aleatorios que puedan invalidar los resultados y obtendrás resultados más precisos.
Al realizar un test A/A, puedes ver en qué momento la muestra de usuarios alcanza el tamaño perfecto para ofrecer una correcta igualdad.
En resumen, un test A/A te permite identificar el tamaño de la muestra en el que el factor suerte se reduce al mínimo. Entonces, podrás usar esos datos para configurar tu test A/B. Con esto dicho, los test A/A suelen necesitar una muestra más pequeña que otros tipos de test, como los test multivariante.
También puedes echar un vistazo a nuestra calculadora de muestras para test A/B.
¿Son los test A/A una pérdida de tiempo?
El tema de la utilidad de los test A/A es siempre objeto de debate en el mundo del A/B testing. ¿Deberíamos realizar un test A/A antes de realizar un test A/B? La principal preocupación es el tiempo.
Realizar test A/A requiere tráfico y tiempo.
El gran problema es que realizar test A/A lleva tiempo, más tiempo que realizar test A/B debido a que el volumen de tráfico que se necesita para probar que dos variaciones son idénticas es bastante alto.
El problema, según ConversionXL es que el A/A testing lleva mucho tiempo y hace que malgastes el tráfico realizando este tipo de test en lugar de “test reales” que son los que comparan varias versiones diferentes.
En sitios web con mucho tráfico, el realizar test A/A no es tan problemático ya que obtendrán resultados más rápidamente.
Una alternativa interesante: la comparación de datos
Existe otra forma para comprobar la precisión de tu herramienta de A/B testing y consiste en integrar tu herramienta con otra fuente de datos de analítica web. Al hacer esto, podrás comparar los datos en ambas plataformas y verás si obtienes resultados similares. Si encuentras discrepancias entre ambas plataformas, sabrás que alguna de las dos está mal configurada o es ineficiente y debe ser sustituida. AB Tasty, por ejemplo se integra con distintas herramientas de analítica web como Google Analytics, Webtrekk, Adobe Analytics, etc.
