El testing de hipótesis estadísticas defiende que ningún test tiene una seguridad del 100%, ya que dependemos de las probabilidades al realizar experimentos.
Tanto los científicos como los profesionales del marketing online buscan, al implementar un test, resultados estadísticamente relevantes. Esto significa que deben encontrarse dentro de un rango de probabilidades específico (normalmente del 95%).
Aunque las hipótesis se formulan de tal manera que deberían ser fiables, existen dos clases de errores que podrían darse: los errores de Tipo I y de Tipo II.
.
¿Qué son los errores de Tipo I?
Los errores de Tipo I – comúnmente identificados como “falsos positivos” – aparecen cuando una hipótesis nula es cierta, pero se rechaza. Una hipótesis nula es una afirmación general, o una creencia predeterminada, de que no existe una relación entre dos fenómenos que han sido medidos.
En pocas palabras, los errores de Tipo I son ‘falsos positivos’ – se producen cuando se da por válida una diferencia estadísticamente significativa, aunque realmente no exista una.
Los errores de Tipo I tienen una probabilidad de “α” correlacionado con el nivel de confianza que hayas establecido. Un test con un nivel de confianza del 95% revela que existe una probabilidad del 5% de obtener un error de Tipo I.
|
Consecuencias de los errores de Tipo I
Los errores de Tipo I pueden producirse por culpa de la mala suerte (la probabilidad del 5% ha jugado en tu contra) o porque no has respetado la duración del test y el tamaño de la muestra originalmente determinados para tu experimento.
El resultado es que un error de Tipo I producirá un falso positivo; en otras palabras, creerás que el testing de tu hipótesis ha funcionado, aunque realmente no lo haya hecho.
En las situaciones reales, esto podría significar perder ventas por culpa de la suposición errónea generada por el test.
Relacionado: Calculadora de muestras y duración de test A/B
|
Un ejemplo real de un error de Tipo I
Imaginemos que quieres aumentar la efectividad de un banner que aparece en tu página web. Para que esto funcione correctamente, has planeado añadir una imagen para ver si así logras atraer a los usuarios.
Comienzas tu test A/B con una versión de control (A) contra la variación (B) que contenga la imagen. Tras 5 días, el rendimiento de la variación (B) supera notablemente a la versión de control, con un aumento de las conversiones del 25% y un nivel de confianza del 85%.
Detienes el test e implementas la imagen en tu banner. Sin embargo, tras un mes, notas que tus conversiones mensuales han disminuido.
Has encontrado un error de Tipo I: a la larga, la variación no superó realmente a la versión de control.
|
¿Qué son los errores de Tipo II?
Si se suele hacer referencia a los errores de Tipo I como ‘falsos positivos’, los errores de Tipo II se conocen como ‘falsos negativos’.
Los errores de Tipo II se producen cuando supones, de manera errónea, que ninguna de las versiones de control han ‘ganado’, aunque realmente haya una que presente resultados notablemente mejores.
En términos estadísticamente correctos, los errores de Tipo II se generan cuando la hipótesis nula es falsa y no haces nada por rechazarla.
Si la probabilidad de cometer un error de Tipo I se determina por “α”, la probabilidad de cometer un error de Tipo II es “β”. Beta depende del poder del test (por ejemplo, la probabilidad de evitar un error de Tipo II, el cual equivale a 1-β).
Estos son 3 parámetros que pueden afectar un test:
- El tamaño de la muestra (n)
- El nivel de significación de tu test (α)
- El valor ‘real’ del parámetro testeado (descubre más aquí)
|
Consecuencias de los errores de Tipo II
De manera similar que los errores de Tipo I, los errores de Tipo II pueden conducir a suposiciones falsas (y a la toma de malas decisiones), resultando en una reducción de las ventas. Por otra parte, obtener un falso negativo (sin darte cuenta) puede refutar tus esfuerzos por optimizar las conversiones, aunque hayas demostrado la validez de tu hipótesis.
|
Un ejemplo real de un error de Tipo II
Digamos que diriges un e-commerce que vende hardware sofisticado para amantes de la tecnología. En un esfuerzo por incrementar las conversiones, se te ocurre implementar una sección de preguntas frecuentes bajo la página del producto.
Lanzas un test A/B para ver si en rendimiento de la variación (B) podría superar el de la versión de control (A).
Tras una semana, no se nota ninguna diferencia entre las versiones: ambas parecen presentar las mismas tasas de conversión, y comienzas a dudar de tu teoría. Tres días después, detienes el test y dejas la página del producto como estaba. Llegado este punto, has aceptado que añadir una sección de preguntas frecuentes a tu tienda no tuvo ningún efecto sobre las conversiones.
A las dos semanas, te enteras de que uno de tus competidores ha implementado también esta sección – y que ha experimentado un aumento notable de las conversiones. Decides volver a realizar el test, basando los resultados en un nivel mayor de confianza (casi del 95%).
Pasa un mes y descubres que las conversiones de la variación (B) han crecido considerablemente – ¡menuda sorpresa! Añadir una sección de preguntas frecuentes al pie de la página del producto ha multiplicado las ventas de tu empresa.
¡Has encontrado un error de Tipo II!
