Con más de 6 años de experiencia en el A/B testing, nuestros equipos se han encontrado con miles de test diferentes, así como otras muchas ideas de optimización y, entre todas estas, hay muchas que serían mejor no repetir. Continúa leyendo para no cometer los mismos errores.
1. Testear elementos inútiles
No tiene ningún sentido testear elementos que no tienen ningún impacto en el negocio. Muy pocos usuarios interactuarán con elementos que tengan poca visibilidad y, en la mayoría de los casos te arriesgas a no alcanzar confianza estadística nunca. Ya hemos visto usuarios testeando el rediseño de su footer o distintos mensajes de confirmación para cuándo olvidas la contraseña, los cuales no obtuvieron resultados, como era de esperar.
No pierdas el tiempo. En lugar de eso, concéntrate en las áreas en las que merece la pena esforzarse porque estén localizadas en una etapa clave del embudo de conversión o porque reciban una gran cantidad de tráfico. Básate tanto en datos cuantitativos como datos cualitativos para identificar oportunidades para tus test.
2. Testear escenarios improbables
AB Tasty te permite segmentar de forma precisa aquellas páginas y usuarios a los que quieres impactar con tus test. Las opciones de segmentación son muy precisas, lo cual nos permite responder a una gran variedad de escenarios y cumplir con los requisitos de cada uno de nuestros clientes. Por ejemplo, si una cadena de distribución quiere testear el impacto de un precio reducido para las entregas en áreas urbanas donde hay menos puntos de recogida, realizar test geolocalizados a ciertas grandes ciudades puede ser una buena opción. Pero, al segmentar por páginas y perfiles de usuario estamos reduciendo la muestra de usuarios a testear. Cuánto más precisa sea la segmentación, mayor será el tiempo necesario para obtener fiabilidad estadística. Tus test durarán más y puede que pierdas la paciencia.
Aunque usamos el enfoque Bayesiano en las estadísticas de nuestros test, ten en cuenta que 20 conversiones no serán nunca suficientes para sacar una conclusión relevante. Los test en escenarios raros son una pérdida de tiempo y deben evitarse.
3. Testear sin tener en cuenta el contexto
Las decisiones de marketing que tomes influenciaran no solo al número de usuarios de tu sitio web, si no a su comportamiento. Las campañas para aumentar el tráfico, las ventas privadas, o las rebajas son todos eventos que tienen un impacto directo en los resultados de un test y las conclusiones que sacamos de ellos. Debido a que los usuarios se distribuyen de forma aleatoria a una u otra variación, puedes tener la impresión de que la influencia de tu estrategia de marketing se ha eliminado porque les afecta a todos en la misma medida y porque el análisis se basa en diferencias de proporción. Esto es en parte cierto, pero, no debes olvidarte de que estos casos pueden afectar de forma profunda al comportamiento de tu muestra. Por ejemplo, durante las rebajas privadas, los usuarios web estarán más motivados por los precios y la posibilidad de encontrar una ganga. Su tendencia a finalizar la compra será mucho más importante y aumentará el impacto de las modificaciones.
Afortunadamente, evitar esta trampa es fácil si tienes un buen conocimiento de tu estrategia de adquisición de tráfico, bien al no realizar test durante estos periodos o al segmentar tus test para aquellos que no vienen de una campaña de publicidad o incluso al segmentarlo por tipo de producto. Otra opción es filtrar los resultados una vez concluido el test, excluyendo a aquellos que muestran un comportamiento inusual.
4. Testear para saber qué compañero lleva la razón
Testear es la mejor forma de poner fin a opiniones distintas sobre un mismo tema y zanjar de una vez por todas los debates. Pero, ¿es realmente efectivo si estas opiniones se basan en malas ideas, o si el tema en cuestión no tiene ningún impacto en las conversiones? Al hacerlo estás gastando tiempo y monopolizando el tráfico web que podías haber explotado de una forma más inteligente. Así que sí, el testing puede zanjar una discusión, pero, para obtener buenos resultados debes asegurarte de que solo realizas test que estén justificados.
5. Testear un rediseño a posteriori
Las motivaciones personales que puedan existir al realizar un test pueden ser un obstáculo para los objetivos de la empresa. Desgraciadamente, es muy común oír “vamos a testear el rediseño de la página para ver si es más efectivo” y ver que, a pesar de que funciona peor, este nuevo diseño se mantiene en producción. Por supuesto entendemos que, es difícil admitir que la versión en la que has estado trabajando tanto tiempo funcione peor que la antigua. Es normal no querer tirar tu trabajo por la borda.
Por lo tanto, para evitar este tipo de decepciones, es mejor llevar a cabo variaciones de elementos poco a poco en lugar de modificar la página al completo de una vez. Al hacerlo de esta forma, estaremos testeando continuamente, lo que limita el coste de los fracasos y te permite atribuir las diferencias en rendimiento a elementos específicos. En el caso de un rediseño completo, si la nueva versión funcionara mejor que la antigua, no habría forma de saber qué elementos son los responsables. Puedes estar contento con el resultado, pero no habrás aprendido mucho sobre tu audiencia y porque reaccionan de forma más favorable a esa versión. Además, probablemente habrá elementos en esa nueva versión que estén afectando de forma negativa.
El único momento en el que esta regla debería romperse es cuando un sitio web tiene muy poco tráfico y no permite que se puedan probar elementos muy concretos. En este caso, el tiempo que necesitarías para obtener datos estadísticos fiables sería demasiado elevado. Por eso, es mejor ser disruptivos en este tipo de páginas y, posteriormente, intentar refinar los resultados al testear elementos más concretos.
6. Testear elementos que están muy lejos de tu página de conversión
Un test en la página principal de tu sitio web puede tener un impacto en la tasa de conversión global, aunque es raro ya que estás testeando un elemento que está muy lejos de dónde la conversión se lleva a cabo. Es esencial que definas indicadores de rendimiento intermedios, así como indicadores para cada tipo de página. Esto es debido a que cada página tiene un rol independiente que contribuye a la conversión final. El objetivo de la página de categoría es ver las páginas de producto, el de la página del carrito es ver los productos en el carrito, etc. Cada una de estas micro conversiones van guiando a los usuarios en el camino hacia la conversión final. Estos objetivos secundarios te permiten obtener una idea más concreta del rendimiento de una variación y son, por lo general, más fáciles de mejorar que el objetivo principal. Debido a que estas micro conversiones se dan más a menudo, puedes alcanzar fiabilidad estadística más rápidamente y, por lo tanto, ver si tus modificaciones han surtido efecto o no.
En resumen, si quieres resultados rápidos para tus transacciones, concéntrate en realizar test en aquellos elementos que lleven a tu conversión final. Aun así, llegará un momento en el que alcances un nivel difícil de superar. Es en esos momentos en los que debes concentrarte en optimizar las micro conversiones ya que se convertirán en una estrategia de mejora continua.
Conclusión
El elemento común en todos estos ejemplos es una falta de coherencia en los objetivos del negocio. Una campaña de testing exitosa se basa en la coherencia de todos sus elementos. Además, se requiere de una metodología estricta: formula una hipótesis coherente, realiza el test en una muestra lo suficiente grande, interpreta los resultados en base a los objetivos correctos y acepta que la hipótesis que presentaste puede ser incorrecta.
