Tests Multivariante (MVT)

 

Un test multivariante es una prueba que analiza simultáneamente distintas versiones o variantes de diferentes variables. La idea es modificar al mismo tiempo algunos elementos en la misma página y definir cuál, de todas las posibles combinaciones, tiene el mejor impacto entre los indicadores analizados. Los tests multivariable (conocidos como MVT por sus siglas en inglés o Multivariate Testing) permiten probar las asociaciones entre variables, que no es lo mismo que las pruebas A/B realizadas de forma sucesiva (o A/B/C, etc.).

¿Qué es un test multivariante?

Durante una prueba A/B, no es posible modificar más de un elemento a la vez (por ejemplo, el texto de un botón), para medir su impacto. Si modificas el texto del botón y el color (por ejemplo, un botón azul “Comprar” versus un botón rojo “Obtenga lo mejor de esto”) y resulta en una mejora, ¿cómo sabrás si fue la palabra o el color el que contribuyeron a la mejora? Uno solo de los criterios podría resultar en desmejora o ser insignificante, o los dos podrían haber obtenido un resultado equivalente.

El test multivariable facilita encontrar la solución a esta pregunta pues permite cambiar el título y la imagen al mismo tiempo. Con pruebas multivariable puedes comprobar una hipótesis para modificar distintas variables y determinar cuál combinación entre todas las posibles soluciones tiene mejor resultado. Si se modifican dos variables en tres formas distintas cada una, se obtiene un total de nueve combinaciones (número de variantes de la primera variable por el número de variantes de la segunda variable).

Probar dos posiciones y dos colores de un botón al mismo tiempo daría cuatro combinaciones diferentesmultivariate-testing

Existen tres ventajas de los tests multivariable:

  • Evita realizar pruebas A/B sucesivas y ahorra tiempo ya que puede visualizarse como el desarrollo de varias pruebas A/B simultáneas en la misma página.
  • Determina el efecto de cada variante con resultados medibles.
  • Mide el resultado de las interacciones entre diferentes elementos presuntamente independientes (por ejemplo, el título de la página y la imagen).

¿Cuáles son los tipos de test multivariante?

Existen dos métodos principales para adelantar test multivariable:

  • « Factorial completo »: Este es el procedimiento al que generalmente nos referimos cuando hablamos de test multivariable. Con este método, todas las posibles combinaciones de las variables están diseñadas y probadas entre partes iguales del tráfico. Si se prueban dos variantes de un elemento y tres de otro, cada una de las seis combinaciones recibirá el 16,66 % del tráfico.
  • « Factorial fraccionado »: Como su nombre sugiere, solo una fracción de posibles combinaciones es efectivamente probada entre el tráfico. La tasa de conversión de las combinaciones no probadas se deduce estadísticamente de las probadas. Este método tiene la desventaja de ser menos preciso, pero requiere menos tráfico.

Limitaciones del Test Multivariante

La primera limitación tiene que ver con el número de visitantes requerido para que los resultados de las pruebas multivariable sean significativos. Al multiplicar el número de variables y las versiones probadas en este tipo de test, rápidamente se tendrá un amplio número de combinaciones. La muestra asignada a cada combinación se reducirá proporcionalmente.

Mientras, en una prueba A/B tradicional, se asignaría el 50 % del tráfico a la versión original y el resto a la variante, en una prueba multivariable solo se asignaría 5, 10 o 15 % del tráfico a cada combinación. En la práctica, esto se traduce en pruebas más extensas y en la imposibilidad de obtener la estadística significativa requerida para la toma de decisiones. Esto es más evidente si se realizan pruebas en páginas del sitio web con bajo tráfico, que es con frecuencia el caso de pasarelas de pedido o landing pages (páginas de aterrizaje) para las campañas de adquisición de tráfico.

La segunda limitación está relacionada con la forma en que se diseñan los tests multivariable. En algunos casos, es el resultado de admitir una debilidad: los usuarios no saben exactamente qué probar y piensan que por probar varias cosas al mismo tiempo en un test multivariable, eventualmente tendrán una solución de la cual sacar ventaja. Con frecuencia encontramos pequeños cambios en el proceso con tests multivariable. Las pruebas A/B, de otra parte, requieren gran rigurosidad en cuanto a establecer mejor las hipótesis, lo que generalmente lleva a pruebas más creativas, respaldadas por datos, con mejores resultados.

La tercera limitación radica en la complejidad. Realizar una prueba A/B a menudo es más fácil que un test multivariable, especialmente al analizar los resultados. No hace falta recurrir a una compleja gimnasia mental para entender por qué un elemento en particular interactúa positivamente con otro en un caso, pero no en otro. Mantener el proceso simple y rápido en la ejecución ayuda a conservar la confianza y se refleja en la optimización de las ideas.

¿Estás interesado?

X