AB Tasty lleva usando las estadísticas Bayesianas en sus algoritmos desde hace bastante tiempo, pero nuestro equipo de I+D recientemente ha creado un nuevo y mejorado tipo de algoritmo para maximizar las conversiones.
¿Por qué mostrar las variaciones de tu sitio web que no convierten particularmente bien durante la totalidad del test cuando hay otras variaciones que funcionan mejor?
AB Tasty te ayuda a minimizar las “pérdidas” inherentes a cada test gracias a su algoritmo de distribución de tráfico dinámica.
El algoritmo resuelve el problema del “multi-armed bandit” para optimizar tu tasa de conversión de forma continua. Siempre vamos más allá para ayudarte a decidir después de realizar un test A/B. En este caso, en lugar de sugerir una decisión, ofrecemos una solución inteligente y automática que es perfecta para tomar decisiones de forma continua cuando hay poco tiempo o cuando trabajas en un entorno en continuo cambio.
¿Qué es la distribución de tráfico dinámica?
La distribución dinámica del tráfico consiste en usar un algoritmo para modificar la cantidad de tráfico enviada a cada versión de un test de forma automática.
La distribución de tráfico dinámica te permite detectar de forma automática la versión que mejor funciona (que genera más conversiones) y enviar más tráfico a esta en lugar de a las demás que funcionan peor.
¿Por qué es útil?
Es útil para limitar la pérdida de conversiones durante un test, lo cual, puede ocurrir cuando parte del tráfico de tu sitio web se envía a una variación que resulta no ser la ganadora.
Echemos un vistazo al siguiente test A/B:
La tasa de conversión de la versión A es del 1%, mientras que la tasa de conversión de la versión B es de 1,5%. El test se mostró a 10.000 usuarios por variación.
El “arrepentimiento” del test es r=10.000 * (0,015-0,01) = 50 conversiones perdidas. A lo largo del tiempo que el test estuvo activo, podríamos haber obtenido 300 conversiones (20.000*0,015), pero el test nos hizo perder 50. Por tanto, durante este período habría habido 250 conversiones.
Por supuesto, solo podemos realizar este tipo de cálculos después de que un test haya acabado, ya que será cuando conozcamos las cifras exactas de las tasas de conversión y las conversiones totales durante el test. Sin embargo, esto no significa que no pueda hacerse nada para limitar el tráfico “perdido” durante un test.
¿Cómo funciona la distribución dinámica de tráfico?
La solución al problema expuesto más arriba consiste en modificar la distribución de tráfico del test en cuestión para enviar la menor cantidad de tráfico posible a la variación “mala”, maximizando los usuarios que ven la mejor versión.
¡Cuidado! Hacer esto de forma manual es bastante peligroso ya que puedes invalidar los resultados del test. Sin embargo, si confías en nuestros algoritmos, conseguirás minimizar la pérdida de conversiones al mínimo, al tiempo que envías el suficiente tráfico a cada variación para determinar cuál es la que mejor funciona con bastante exactitud y fiabilidad.
Para conseguir los mejores resultados, hemos escogido usar el algoritmo más fiable. Utilizamos la incertidumbre de la medición de la tasa de conversión para alcanzar un compromiso entre la exploración y la explotación: Exploramos una variación cuando le enviamos tráfico, incluso si los datos iniciales nos dicen que no es la versión ganadora, ya que sabemos que las primeras conclusiones no tienen por qué ser ciertas. Explotamos cuando enviamos tráfico a una variación que se considera la ganadora en base a los números recogidos. De esta forma, conseguimos evitar perder muchas conversiones.
Naturalmente, la exploración y la explotación son conceptos opuestos. La exploración implica perder conversiones y la explotación implica correr el riesgo de no estar eligiendo la variación ganadora. Por tanto, es crítico diseñar el modelo de la incertidumbre de las mediciones y luego encontrar el punto intermedio entre exploración y explotación.
Para cada variación, tenemos en cuenta la incertidumbre de la medición de la tasa de conversión gracias a las distribuciones de probabilidad. Estos gráficos muestran dónde existe una mayor probabilidad de encontrar una tasa de conversión verdadera. Cuanto más alta sea la curva en el eje Y, mayor será la probabilidad de que el valor del eje X sea cierto.
Ejemplo:
La variación A tuvo éxito 7 veces de entre las 600 visitas (curva negra) que recibió, mientras que la versión B tuvo éxito 27 veces de 600 visitas (curva roja). La situación es clara: muestra que la tasa de conversión de la variación A es probable que se encuentre entre 0% y 0,2%, y que la de la versión B se encuentre entre 0,25% y 0,7%. Debido a que son intervalos distintos, incluso si no podemos estar seguros de las mediciones al 100%, podemos concluir con la suficiente certeza que la versión B es la ganadora. Hay pocas razones que nos hagan dudar que la versión B sea la ganadora debido a que las curvas no se solapan.
Otro ejemplo:
La variación A muestra 7 éxitos de entre 300 visitas (curva negra), mientras que la versión B muestra 14 éxitos de entre 400 visitas (curva roja). Un simple cálculo nos muestra que la tasa de conversión de la versión A es de 2,39% y la de la versión B es de 3,63%. Parece existir una diferencia, por lo que nos tienta decir que la versión B es la ganadora, pero eso sería poco preciso. Al observar las distribuciones de probabilidad, es más fácil identificar la incertidumbre de esas medias. Viendo que las dos curvas se solapan, entendemos que aún existen dudas.
El compromiso entre la exploración y la explotación
Continuemos hablando sobre el último ejemplo. Hemos visto que es igual de posible que tanto la tasa de conversión de la versión A como la B sea del 3%. Con este enfoque, podemos calcular la probabilidad de que A sea la versión ganadora, incluso si B parece ser la ganadora. Usamos este tipo de cálculos para encontrar el punto medio entre exploración y explotación.
De esta forma, podemos estimar la utilidad de explorar y el riesgo asociado a la explotación con la ayuda de un algoritmo como el Thompson Sampling.
Este algoritmo:
- Encontrará la versión ganadora con el tiempo.
- Garantiza perder menos conversiones que si usásemos un tráfico constante para cada variación.
- Encontrará la versión ganadora más rápidamente (si hay más de 2 variaciones) que si contáramos con un tráfico constante para cada variación. Cuantas más variaciones existan, mayor será la probabilidad de que existan algunas variaciones malas. Estas variaciones que funcionan peor se identificarán rápidamente y se enviará menos tráfico hacia ellas que a las que funcionan mejor.
¿Cómo puedes usar la distribución de tráfico dinámica?
Usar la distribución de tráfico dinámica con AB Tasty es muy sencillo. Lo único que debes hacer es marcar la casilla “Distribución dinámica de tráfico” y escoger el KPI que quieras optimizar.
Al principio, el tráfico se distribuirá de forma equitativa entre todas las variaciones y la versión original. Con el tiempo, la cantidad de tráfico dirigido a cada variación se irá ajustando de forma que la versión que funcione mejor cuente con más tráfico que las demás de forma gradual para así minimizar las pérdidas de conversiones.
Una vez que se lanza un test, todo funciona del mismo modo que un test clásico (con tráfico uniforme). Por supuesto, las medidas estadísticas tienen en cuenta la distribución de tráfico dinámica, pero la interpretación de los resultados es exactamente la misma que para cualquier otro tipo de test.
