Bei einer Experimentkampagne kann es frustrierend sein, wenn Sie Ihren Besuchern eine Variante zeigen, die während der gesamten Testdauer nicht sonderlich gut konvertiert und andere Varianten bessere Ergebnisse erzielen. Wir bei AB Tasty kennen diesen Pain Point. Deshalb helfen wir unseren Kunden, „verschwendeten Traffic“ zu minimieren, der bei einem Test unweigerlich entsteht. Und das mit unserem beliebten Dynamic Traffic Allocation Feature, das auf dem Thompson Sampling-Algorithmus und dem Bayesschen Statistikmodell in Form eines Algorithmus beruht.
Die Bayessche Statistik löst das schwierige Problem des „Mehrarmigen Banditen“: Sie findet die Balance zwischen „Exploitation“ und „Exploration“ der Daten, um die Experimente fortlaufend – und schnell! – zu optimieren. Wir bieten weit mehr als nur eine Entscheidungshilfe für unsere Kunden, wie es nach einem A/B-Test weitergehen soll. Will heißen: Wir halten eine automatisierte Lösung bereit, die ideal ist, wenn fortlaufend Entscheidungen getroffen werden müssen und die Zeit knapp ist, oder wenn Sie in einer Umgebung arbeiten, die sich ständig ändert.
Stellen Sie sich vor, Sie starten während der Festtage eine einwöchige Werbekampagne. Obwohl Sie mehrere Varianten testen möchten, lautet das Ziel, den Umsatz zu optimieren, und nicht zwangsläufig statistische Relevanz zu erreichen. Angenommen, eine weltweite Pandemie wirkt sich auf Ihre Geschäftsergebnisse aus und zwingt Sie, auf neue Art zu kommunizieren. Obwohl Sie mehrere Varianten testen möchten, lautet das Ziel, möglichst schnell die Kommunikation zu optimieren und nicht zwangsläufig einen klassischen A/B-Test durchzuführen.
AB Tasty bietet schon seit längerem Dynamic Alllocation an. Vor Kurzem haben wir jedoch den gesamten Prozess gestrafft. Er wird insgesamt kohärenter und lässt sich leichter aktivieren, wenn Sie eine Kampagne erstellen.
Was ist Dynamic Traffic Allocation?
Bei der Dynamic Traffic Allocation wird mit einem Algorithmus das Trafficvolumen angepasst, das den einzelnen Live-Test-Varianten zugeteilt wird.
Der Dynamic Traffic Allocation Algorithmus ermittelt die Variante mit der höchsten Performance und teilt dieser Version mehr Traffic zu.
Warum ist es nützlich?
Dynamic Allocation hilft, den Verlust von Conversions während eines Tests (den sogenannten „Regret“) zu begrenzen. Dazu kann es kommen, wenn ein Teil Ihres Website Traffics an eine Variante gesendet wird, die letztlich nicht die Gewinnervariante ist.
Werfen wir einen Blick auf folgenden A/B-Test: ConversionRateA = 1 %, ConversionRateB = 1,5 %, der Test wurde mit einem gleichbleibenden Traffic von 10.000 Besuchern pro Variante durchgeführt.
Der „Regret“ dieses Tests: r = 10.000 * (0,015-0,01) = 50 verlorene Conversions. Während des Testzeitraums hätten wir im Idealfall 300 Conversions erzielen können (20.000*0,015), doch mit dem Test haben wir 50 Conversions verloren. Während dieser Zeit wären also nur 250 Conversions erzielt worden.
Selbstverständlich können wir solche Berechnungen erst anstellen, wenn der Test abgeschlossen ist und wir die genauen Zahlen für die Conversion Rate kennen. Das bedeutet aber nicht, dass nichts gegen „verschwendeten“ Traffic während eines Tests unternommen werden kann …
Wie funktioniert die Dynamic Traffic Allocation?
Das oben genannte Problem lässt sich lösen, indem die Traffic Allocation des Tests geändert wird, damit weniger Besucher zu den „schlechten“ Varianten und mehr Besucher zu den „guten“ Varianten geschickt werden.
Aber Achtung: Solche Änderungen manuell vorzunehmen, ist sehr riskant, da die Ergebnisse verfälscht werden können. Es gibt jedoch Algorithmen, die den Traffic so kanalisieren, dass der Regret eines Tests auf ein Minimum reduziert werden kann während die erfolgreichste Variante identifiziert wird.
Wir haben den zuverlässigsten Algorithmus für diese Aufgabe auf folgender Basis ausgewählt: Wir verwenden die Messunsicherheiten der Conversion Rate, um einen Kompromiss zwischen „Exploration und Exploitation“ zu erzielen. Bei der Exploration senden wir Traffic an eine Variante, selbst wenn sie nach den ersten Messwerten nicht als Gewinnervariante hervorgeht – wir wissen ja, dass die ersten Schlussfolgerungen nicht zuverlässig sind. Bei der Exploitation senden wir Traffic an eine Variante, die angesichts der bereits gesammelten Zahlen als Gewinnervariante gilt. So vermeiden wir, zu viele Conversions zu verlieren (vorausgesetzt, die betreffende Variante ist tatsächlich die Gewinnervariante).
Diese beiden Ziele stehen natürlich im Widerspruch zueinander. Exploration bedeutet, Conversions zu verlieren, Exploitation bedeutet, ein Risiko einzugehen, wenn nicht die erfolgreichste Variante ausgewählt wird! Deshalb ist es entscheidend, die Messunsicherheit genau zu modellieren und dann den richtigen Kompromiss zwischen „Exploration und Exploitation“ zu finden.
Mit der Wahrscheinlichkeitsverteilung können wir für jede Variante die Messunsicherheit der Conversion Rate berücksichtigen. Diese Grafiken zeigen, wo der wahre Conversion Rate-Wert am ehesten zu finden ist. Je höher der Wert auf der Y-Achse der Kurve, desto größer die Chance, dass der entsprechende X-Wert dem wahren Wert entspricht.
Hier ist ein Beispiel:
Variante A verzeichnet 7 Erfolge bei 600 Besuchen (schwarze Kurve), Variante B verzeichnet 27 Erfolge bei 600 Besuchen (rote Kurve). Die Situation ist eindeutig: Die Conversion Rate der Variante A liegt wahrscheinlich zwischen 0 % und 0,2 %, die der Variante B wahrscheinlich zwischen 0,25 % und 0,7 %. Da es sich um zwei getrennte Intervalle handelt, können wir mit ziemlicher Sicherheit behaupten, dass B die Gewinnervariante ist, selbst wenn wir nicht sicher sein können, dass die Messwerte stimmen. Es besteht praktisch kein Zweifel daran, dass B die Gewinnervariante ist, da sich die Kurven nicht überschneiden.
Hier ein weiteres Beispiel:
Variante A verzeichnet 7 Erfolge bei 300 Besuchen (schwarze Kurve), Variante B verzeichnet 14 Erfolge bei 400 Besuchen (rote Kurve). Die einfache Berechnung der Conversion Rate ergibt ConversionRateA = 2,39 %, ConversionRateB = 3,63 %. Augenscheinlich besteht ein Unterschied in der Conversion Rate, sodass wir versucht sind, Variante B als Gewinner zu betrachten, doch das ist falsch … Wenn wir die Wahrscheinlichkeitsverteilung näher betrachten, lässt sich die Messunsicherheit besser erkennen. Da sich die beiden Kurven überschneiden, zeigt sich, dass noch Zweifel bestehen können.
Der Kompromiss zwischen „Exploration und Exploitation“
Sehen wir uns das letzte Beispiel noch einmal genauer an. Genauso wahrscheinlich ist, dass die ConversionRateA bei 3 % und die ConversionRateB ebenfalls bei 3 % liegt (Schnittpunkt der beiden Kurven). Mit diesem Ansatz können wir die Wahrscheinlichkeit berechnen, dass A die Gewinnervariante ist, selbst wenn B im Moment besser zu sein scheint. Wir verwenden diese Art von Berechnungen, um die richtige Balance zwischen „Exploration und Exploitation“ zu finden. Mithilfe eines Algorithmus wie Thompson Sampling können wir den Nutzen der Exploration und das mit der Exploitation verbundene Risiko einschätzen.
Dieser Algorithmus:
- findet im Laufe der Zeit mit Sicherheit die Gewinnervariante
- verliert garantiert weniger Conversions als ein stabiler Traffic
- findet die Gewinnervariante schneller (falls mehr als 2 Varianten getestet werden) als das bei einem stabilen Traffic der Fall wäre. Je mehr Varianten, desto größer die Wahrscheinlichkeit, dass ein paar (sehr) schlechte Varianten dabei sind. Die erfolgloseren Varianten werden schnell identifiziert und erhalten weniger Traffic als Varianten, die besser performen. Bei einer stabilen Traffic Allocation würden diese (sehr) schlecht abschneidenden Varianten auch weiterhin ein nicht unerhebliches Trafficvolumen verlieren.
Wie können Sie die Dynamic Traffic Allocation verwenden?
Mit AB Tasty ist die Dynamic Traffic Allocation besonders einfach zu bewerkstelligen: Sie müssen nur auf die Schaltfläche „Change to Dynamic allocation“ klicken und den primären KPI auswählen, der optimiert werden soll. Anfangs wird der Traffic noch gleichmäßig verteilt. Im Laufe des Tests wird er angepasst und automatisch so verteilt, dass die Gewinnervariante identifiziert und der Conversion-Gewinn maximiert werden kann.
Nach dem Teststart verläuft alles wie bei einem herkömmlichen Test (mit gleichmäßiger Traffic-Verteilung). Selbstverständlich berücksichtigen alle statistischen Messungen die Dynamic Allocation. Die Testergebnisse können deshalb genau gleich interpretiert werden.
Warum Dynamic Allocation?
Wenn die Zeit knapp ist, haben User dank der Dynamic Allocation die Möglichkeit, den Traffic direkt auf die beste Variante zu leiten, ohne in die Kampagne einzugreifen. Das sorgt für schnellere Ergebnisse und einen besseren ROI!
Dynamic Allocation kann in folgenden Fällen äußerst nützlich sein:
- Wenn Benutzer Mikro-Conversions optimieren möchten, die in einem kurzen Zeitraum erwartet werden, nachdem der User einer Variation ausgesetzt war. Auf E-Commerce-Websites bevorzugen einige Kunden z. B. den „In den Warenkorb“-CTA gegenüber dem Transaktionsereignis als primäres Ziel.
- Wenn User nur eine kurze Zeit zur Verfügung haben, einen Test laufen zu lassen.
- Bei speziellen Werbeangeboten in der Weihnachtszeit mit einigen Varianten und dem Ziel, in diesem kurzen Zeitraum den Umsatz zu maximieren.
- Während der Corona-Krise muss ein Unternehmen möglicherweise schnell mit Kunden kommunizieren. Das Unternehmen möchte möglichst rasch die Gewinnervariante verwenden.
- Wenn die zu testende Seite ein sehr geringes Trafficvolumen verzeichnet. Bei einem niedrigen Traffic kann es schwierig sein, wahre statistische Signifikanz zu erreichen, doch das hindert Sie nicht daran, die Customer Experience zu optimieren. Die Dynamic Allocation wäre die logische Wahl.
- Wenn viele Varianten zu testen sind, d. h. mehr als 6 Varianten, bietet die Dynamic Allocation Usern die Möglichkeit, schlecht funktionierende Varianten schnell zu identifizieren, um den Test nur für die relevantesten Varianten durchzuführen.
Sie möchten mehr über AB Tasty, Dynamic Allocation und andere KI-gestützte Funktionen wie Engagement Level und Content Interest erfahren, um Ihre Marken- und Produkterlebnisse zu optimieren? Wir zeigen sie Ihnen live in einer persönlichen Demo.
