Test multivariante
Test multivariante
Todo lo que necesitas saber sobre los test multivariante
Introducción
Encontrar la combinación perfecta. Ese es el objetivo de los test multivariante.
Un test multivariante es un test que prueba distintas combinaciones de una variable de forma simultánea. Conocido también como multivariate testing o MVT en inglés, la idea detrás de este tipo de test es la de modificar varios elementos de una página de forma simultánea y definir cuál de todas las posibles combinaciones tiene un mayor impacto en el indicador a mejorar. Este tipo de test permiten evaluar las asociaciones de distintas variables, lo cual no es posible usando test A/B.
Test multivariante: prueba distintas combinaciones para comprobar cómo interactúan entre ellas.
A diferencia del A/B testing más clásico que usa test A/B, los test multivariante te permiten conocer la combinación de elementos que mejor funciona para tus usuarios y sus necesidades específicas.
¿Suena bien no? Con esta guía, aprenderás todo lo necesario para empezar a crear tus propios test multivariante.
¿Qué es un test multivariante?
Al realizar un test A/B, no debes modificar más de un elemento a la vez, ya que, si lo haces, nunca podrás saber a qué variación se debe el resultado obtenido. Si, por ejemplo, cambias el color de un botón y su texto al mismo tiempo y aumenta su CTR, ¿cómo sabrías cuál de las dos modificaciones ha propiciado la mejora? El impacto de un elemento podría ser nulo o ambos podrían haber influido en la misma medida, pero nunca lo sabrías.
Los test multivariante surgen para solucionar ese problema. Con ellos, puedes cambiar una imagen y su título por ejemplo y comprobar en qué medida ambos influyen en el resultado final. Gracias a los test multivariante, comprobarás hipótesis para las que se modifican distintas variables y se crean varias combinaciones posibles para encontrar aquella combinación que funcione mejor.
Digamos, por ejemplo, que creas 3 versiones distintas de dos variables diferentes. Obtendrás nueve combinaciones en total (número de variaciones de la primera variable multiplicado por el número de variaciones de la segunda).
Más artículos sobre test multivariante:
Los orígenes de los test multivariante
Las metodologías de test como el MVT (Multivariate Testing) empezaron allá por el año 1700. Por aquel entonces, el escorbuto era un gran problema. Sin saberlo, el cirujano de un barco de la Marina Real británica creó el primer test multivariante de la historia cuando empezó a administrar distintas soluciones a cada enfermo y a tratarlos bajo distintas circunstancias. Los test contaban con un alto número de variables que, al final, comparó para ver cómo interactuaban entre sí. Este test multivariante le llevó a medir la efectividad de cada combinación y determinar el tratamiento perfecto para el escorbuto: cítricos, aire fresco y dormir mucho.
¿Dónde realizar test multivariante?
Algunos sitios se centran en generar leads, otros en vender productos, otros en generar páginas vistas, etc. pero lo cierto es que cualquier tipo de sitio web que tenga un propósito puede beneficiarse de las ventajas de los test multivariante ya que, cualquiera sea su objetivo, siempre puede mejorarse.
La mayoría de las páginas web que realizan test multivariante lo hacen para:
- Testear distintas combinaciones de texto y color de un botón o llamada a la acción.
- Probar distintos textos e imágenes en la página para descubrir qué combinación funciona mejor.
Tipos de test multivariante
Existen dos tipos de test multivariante:
- Factorial: Este es el método más usado en los test multivariante. Siguiendo este método, cada combinación posible de variables se prueba en partes iguales de tráfico. Si, por ejemplo, testeas dos variaciones de un elemento y 3 de otro, cada una de las 6 variaciones recibirá el 16.66% de tu tráfico.
- Factorial fraccionado: Como el nombre sugiere, solo se testea una fracción de las posibles combinaciones en tu tráfico. La tasa de conversión de las combinaciones que no se prueban se deduce de forma estadística en base a aquellas que sí han sido probadas. Este método tiene la desventaja de ser menos preciso, pero requiere menos tráfico para alcanzar un resultado.
¿Por qué realizar test multivariante?
Existen muchas razones por las que deberías realizar test multivariante, pero estas son las más importantes:
- Evitar realizar múltiples test A/B sucesivos y ahorrar tiempo ya que un test multivariable puede considerarse como una gran cantidad de test A/B activos en una página al mismo tiempo.
- Determinar el impacto de cada variable en el resultado final.
- Medir el impacto de las distintas combinaciones que antes se consideraban elementos independientes (una imagen y su título, por ejemplo).
Límites de los test multivariante
El principal “problema” de los test multivariante se debe a que necesitan una gran cantidad de usuarios para poder orecer un resultado fiable.
Al multiplicar el número de variables y versiones testeadas en tu test multivariante, obtendrás el número de combinaciones. La muestra asignada a cada combinación será una fracción del total del tráfico equitativa para cada combinación.
Mientras que en un test A/B tradicional asignarías el 50% de tu tráfico total a la versión original y el otro 50% a la nueva versión, en un test multivariante solo puedes asignar un 5, 10 o 15% a cada combinación. En la práctica, esto significa que tus test tardarán más en alcanzar fiabilidad estadística, la cual es necesaria si piensas tomar decisiones en base a los resultados del test. Esto se intensifica aún más si realizas este tipo de test en páginas con poco tráfico, como pueden ser ciertas landing pages de tu sitio web.
El segundo límite lo marca la forma en la que se define un test multivariante. En algunos casos, los responsables no tienen muy claro qué testear y piensan que, si prueban muchos elementos distintos al mismo tiempo en un test multivariante, encontrarán algún elemento ganador del que aprovecharse. Para que una campaña de A/B testing obtenga los mejores resultados, es necesario identificar buenas hipótesis de optimización, lo que lleva a la creación de mejores test basados en datos y, por tanto, a mejores resultados.
Por último, el tercer límite está relacionado con su complejidad. Realizar test A/B es, a veces más fácil que realizar test multivariante, especialmente en la etapa de análisis de resultados. No necesitas ser un mago de la estadística, pero, a veces, entender por qué un elemento en particular interactúa de forma positiva con otro solo en algunas ocasiones puede llegar a ser complicado.
Ideas para un test multivariante e hipótesis de optimización
La clave para realizar buenos test multivariante consiste en formular buenas hipótesis de optimización para cada elemento que quiere testearse. Estas hipótesis se traducirán luego en las distintas variaciones y combinaciones de cada test.
Para crear buenas hipótesis de test debes:
- Establecer de forma clara el objetivo del test multivariante.
- Encontrar una relación entre el problema a mejorar, sus posibles causas y las optimizaciones propuestas.
- Crear una predicción clara sobre lo que ocurrirá si se realiza una modificación en un elemento en concreto.
- Proponer una solución al problema.
Más artículos sobre test multivariante e hipótesis de test:
- 3 Ingredientes para un buen test
- How to Find a Winning A/B Testing Hypothesis
- What type of hypothesis test for multivariate testing
Tamaño de la muestra para un test multivariante
Como hemos visto anteriormente, para poder testear una hipótesis de test multivariante, necesitas una muestra bastante grande. Piensa que se trata de varios test A/B en paralelo y que el número de usuarios debe, por tanto, ser bastante alto.
En resumen, para poder realizar test multivariante adecuadamente, necesitas un sitio web con el suficiente tráfico como para poder realizar varios test al mismo tiempo. Esto implica que el tamaño de la muestra nunca debe exceder el tráfico de tu web, a menos que quieras esperar muchísimo tiempo para obtener resultados válidos.
Un test multivariante requiere más tráfico que un test A/B
¿Cuánto tiempo dura un test multivariante?
No existe una respuesta a esta pregunta, pero para que te hagas una idea, he aquí un par de ejemplos. Digamos que tu página recibe 30.000 usuarios al día, que sobre el 5% de esos usuarios convierte y que quieres testear tres variaciones distintas de un elemento en esa página. Con estos datos, el test debería estar activo durante 11 días. Si, por ejemplo, tu página solo recibe 5.000 usuarios al día y cuenta con una tasa de conversión del 2%, el tamaño de la muestra asciende a 78.039 usuarios, lo que te llevaría 468 días para obtener un resultado fiable.
¿Quieres saber de dónde salen estos números? Prueba nuestra calculadora de muestras para el A/B testing. Nuestra calculadora te ayuda a calcular el tamaño de la muestra necesario, así como la duración de los test basándose en tu tráfico, tus conversiones y otra información como el Efecto Mínimo Detectable.
Si tu tráfico medio es muy bajo, puede que los test multivariante no sean la mejor opción para ti. En su lugar, puedes realizar test A/B. Además, echa un vistazo a este post sobre cómo realizar A/B testing en sitios con poco tráfico.
Consejos y mejores prácticas al realizar test multivariante
Estos son algunos consejos que te ayudarán a crear tu primer test multivariante evitando errores comunes:
1. Elige una herramienta de testing potente
Los test multivariante siempre se han considerado muy técnicos, por lo que te recomendamos que elijas una herramienta que haga que el proceso sea sencillo. AB Tasty, por ejemplo, permite que cualquiera pueda iniciarse en el mundo de los test multivariante sin conocimientos técnicos, ayudándote, además, a descubrir insights sobre tus clientes para tomar las decisiones más apropiadas.
Asegúrate de que usas una herramienta que cumpla con todos tus requisitos. En lo que a optimización de conversiones se refiere, existen una gran cantidad de procesos de optimización más allá del testing propiamente dicho. Elige una solución que te ayude a comprender el comportamiento de tus usuarios. Te recomendamos que uses AB Tasty debido a que ofrece numerosas herramientas dentro de su suite de CRO como:
- Mapas de calor
- Grabación de sesiones
- Feedback de los usuarios
- Criterios de segmentación
- Widgets inteligentes listos para usar.
Los informes de AB Tasty te permiten analizar la contribución de cada elemento a la tasa de conversión.
2. Crea un buen equipo dedicado al testing continuo
En un buen equipo de CRO, existen varios roles que deben ser cubiertos. Un director de conversión liderará el equipo y gestionará al resto de miembros; Otro miembro del equipo debe ser responsable del análisis del comportamiento de los usuarios de la web y el estado actual de la misma; El diseñador será el encargado de asegurarse que las modificaciones se adecúan al estilo del sitio web; Otro miembro sería el encargado de implementar los test más complejos y, por último, el data scientist podría estar a cargo de evaluar e interpretar los resultados de los test.
Una sola persona puede llevar a cabo el trabajo de más de uno si cuenta con las habilidades necesarias y cuenta con suficiente tiempo para cumplir con todas las tareas.
3. Diseña un plan a seguir
Una buena base es primordial. Antes de empezar a crear tus test multivariante, define de forma clara los elementos que deben ser testeados, por qué deben testearse y define un intervalo de tiempo. Contar con una fecha límite te ayudará a trabajar de una forma más eficiente.
4. Establece objetivos y define el éxito y el fracaso de una campaña
Crea objetivos anuales que puedan modificarse año tras año, como por ejemplo el número de campañas lanzadas. Una medición cuantitativa es algo fácil y preciso. En cuanto a tus campañas de test multivariante, define qué hace que un test sea un éxito o un fracaso. Ten en cuenta que incluso cuando crees que un test ha fallado, en realidad has aprendido que algo no funciona en tu web.
5. Crea una base de datos de conocimiento
Mantén un historial con todas las lecciones que has aprendido, lo que te ahorrará tiempo y errores recurrentes en el futuro. Una vez que aprendes algo, esa lección debería estar disponible para cualquier miembro de tu equipo. También hará que el proceso de onboarding de un nuevo miembro sea mucho más fácil.
6. Identifica y testea en distintos segmentos de audiencia
Puede que en algunas campañas de test multivariante descubras que los clientes recurrentes prefieren una versión diferente a los usuarios nuevos. Herramientas como la de AB Tasty reconocerán esto automáticamente y te sugerirán segmentar por tipo de usuario.
7. Comparte con el resto de la empresa
La soledad en el trabajo es un problema real. Tu equipo de CRO no debería trabajar aislado del resto de la empresa. Comparte tus proyectos con el resto de la empresa y los resultados de tus campañas y, por supuesto, no te cierres a nuevas ideas provenientes de personas fuera del equipo de CRO.
Más artículos que pueden ser de tu interés:
- Customer Success Manager ¿Qué son y por qué son importantes?
- Principles and best practice in Multivariate website testing
- Multivariate Testing – Best Practices & Tools for MVT
- How do I set up a multivariate test?
Ejemplos de test multivariante
¿Buscas ideas para tus próximos test multivariantes? Te proponemos algunos ejemplos para inspirarte:
Otras formas de hacer testing
Hay muchas más formas de testing aparte de los test multivariante. Estos son algunos ejemplos:
- Test A/B/n: Compara dos o más variaciones de un mismo elemento.
- Test por redirección: Redirecciona el tráfico de una página a otra URL. La solución perfecta para páginas nuevas alojadas en tu servidor.
- Test multipágina: Muestra cambios de forma consistente a través de múltiples páginas.
¿No sabes qué tipo de test elegir? En este post te ayudamos a elegir el test más adecuado para ti.
La optimización web no se limita al A/B testing. Además de esto, puedes realizar personalizaciones avanzadas para ofrecer una experiencia perfecta para cada uno de tus segmentos de audiencia.
