Los siguientes errores pueden distorsionar los resultados de tus campañas de A/B testing. ¡Aprende a evitarlos!
1. Cambiar la versión de control durante un test
Realizar cambios en la versión de control (la versión original), sobre todo si estos cambios afectan a los elementos que estas testeando, es una mala idea y debería ser evitada, siempre. Los resultados del test no significaran nada si la versión original también ha cambiado en el proceso del test.
2. Testear los cambios en distintos periodos de tiempo
El A/B testing se basa principalmente en dividir el tráfico entre dos versiones de una página: una versión de control A, y una variación B. Recoger datos de la versión A durante un tiempo, y datos de la versión B durante otro periodo de tiempo no es cómo funciona el A/B testing y resultará en datos erróneos e inutilizables, ya que las condiciones del test han cambiado. De esta forma no hay nada que asegure que ambas versiones reciben la misma cantidad de tráfico. También pueden intervenir otros factores, por ejemplo, si testeas la versión A durante un día de diario y la versión B durante un día festivo, los resultados estarán distorsionados debido a los horarios y a los hábitos del usuario. Es por esto que, la regla de oro del A/B testing dice que las dos versiones deben ser testeadas simultáneamente, usando una versión de control y una variación (o más) y distribuyendo el tráfico entre ellas, de forma que te aseguras de que cualquier factor que pueda afectar al tráfico lo hará para todas las versiones del sitio web. Solo de esta forma puedes aprender de los resultados del test de forma segura y fiable.
3. Modificar varios elementos a la vez
El A/B testing consiste en testear una variación de una página web que es distinta de la versión original en solo un elemento. Un test A/B, una variación. Cuando se testean varios elementos distintos en una misma página, ya no estamos hablando de un test A/B si no de un test multivariante, el cual es bastante más avanzado. Si creas un test A/B y realizas varios cambios en una página web, te será muy complicado interpretar los resultados una vez que el test concluya, ya que no sabrás qué elemento es el responsable de los resultados que has obtenido. Si quieres usar el test A/B en lugar del multivariante, debes empezar testeando primero los cambios más radicales para luego ir testeando aquellos más sutiles, siempre creando una variación cada vez y comparándola con la versión de control.
4. Sacar conclusiones antes de alcanzar un 95% de fiabilidad
En la herramienta de informes de AB Tasty, cada test recibe una tasa de fiabilidad estadística. Esto es un nivel de confianza que se calcula teniendo en cuenta la duración del test y la cantidad de tráfico asignado a este. Lo que hay que tener en cuenta es la cifra del 95%. Si tu test tiene una fiabilidad del 95% o más, puedes considerar que sus resultados son fiables. Si está por debajo de este número, los resultados todavía no son lo suficiente fiables como para sacar conclusiones definitivas. Si tomas decisiones basadas en resultados con una fiabilidad menor al 95%, te estarás basando en resultados potencialmente erróneos o falsos, y es totalmente posible que estos cambien con el tiempo.
5. Permitir que un test dure demasiado
Si tu test ha alcanzado un 95% de fiabilidad estadística y ya tienes suficiente información, es mejor parar el test y no dejar que siga activo por más tiempo. Detén tus test cuando hayan conseguido su objetivo, de lo contrario, será una pérdida de tiempo estar esperando alguna mejora marginal de los buenos resultados que ya tienes. Además, estarás enviando a tus usuarios a una versión que ya ha sido testeada en lugar de usar ese tráfico para testear nuevos elementos.
6. No ser honesto al interpretar los datos
Para que tus test sean efectivos, debes aceptar sus resultados, sin importar los que sean (teniendo en cuenta que hayan alcanzado el 95% de fiabilidad estadística).Por supuesto, esto es más fácil decirlo que hacerlo cuando ves la variación en la que has estado trabajando durante semanas siendo peor que la versión de control. Pero, lo bueno del A/B testing es, precisamente, eso, decirte sin rodeos, qué versión de la página web funciona mejor con tus usuarios, incluso si esta no es la que tú prefieres.
7. Sorprender a tus usuarios más leales
Si tienes una tasa alta de usuarios recurrentes, es mejor no sorprenderlos de repente con una versión radicalmente distinta. Estos clientes ya son leales a ti y puede que un cambio drástico en el sitio web haga que cambien de opinión, incluso si esa versión al final no resulta ganadora. Además, si segmentas únicamente a los usuarios nuevos, estarás seguro de que su comportamiento no cambiará.
8. Elegir mal tus KPIs
Finalmente, asegúrate de que tus KPIs son los correctos para el objetivo que tienes en mente. Si escoges un KPI que está muy lejos del objetivo, obtendrás un resultado que no tiene mucho que ver con tu objetivo. Otro error muy común es elegir solo un KPI, mientras que el test puede impactar en otros muchos. Es incluso posible que el test mejore el KPI que se está monitorizando a la vez que empeora otros, y no te darás cuenta inmediatamente.
