A/B Testing

Was ist A/B Testing?

A/B Testing (Split-Testing) ist eine Methode, um zwei Versionen einer Website oder Funktion miteinander zu vergleichen. Ziel ist es herauszufinden, welche Variante besser performt. Dafür wird Besuchern zufällig Version A oder B ausgespielt und Daten zeichnen auf, was zu mehr Engagement, Klicks oder Conversions führt.

Beispiel: Du willst testen, ob das Hinzufügen der Buttons „In den Warenkorb“ oder „Größe wählen“ die Anzahl der Käufe erhöht. Vergleichsmaßstab ist die Version ohne diese Buttons.

Die Annahme, die du vor dem Start zugrunde legst, ist deine Hypothese. Die Testergebnisse werden sie entweder bestätigen oder widerlegen und die zeigen, welche Variante der Gewinner ist.

Clientseitiges A/B Testing

Clientseitiges A/B Testing läuft im Browser des Nutzers über JavaScript. Es eignet sich besonders für visuelle oder strukturelle Änderungen wie Headlines, CTAs, Bilder, Button-Farben oder Seitenlayouts.

Wenn jemand deine Seite besucht, verändert JavaScript die Seite in Echtzeit und zeigt verschiedene Varianten an. Das geht schnell, ist flexibel und benötigt keine Backend-Entwicklung.

Vorteile:

• Schnell eingerichtet und kein Coding notwendig.
• Ideal für Marketingteams, die Conversion-Tests zügig umsetzen wollen.
• Hohe Geschwindigkeit bei Frontend-Iterationen.

Einschränkungen:

• Flickering (FOOC): Kann das Nutzererlebnis beeinträchtigen. Dabei blitzt die Originalversion der Seite kurz auf, bevor die Testversion geladen wird.
• Cookie-Abhängigkeit: Stützt sich auf Browser-Cookies, um Nutzer zu identifizieren. Das wird in einer Welt ohne Cookies immer schwieriger.
• Auswirkungen auf die Performance: JavaScript kann die Ladezeit verlangsamen.
• Nur oberflächlich: Backend-Logik, Algorithmen oder Features lassen sich damit nicht testen.

Am besten geeignet für:

• das Testen von Design-, Text- und Layout-Veränderungen auf Websites.

Serverseitiges A/B-Testing

Serverseitiges Testing findet auf dem Webserver statt, bevor die Seite an den Browser des Nutzers ausgeliefert wird. Dadurch kannst du nicht nur testen, was Nutzer sehen, sondern auch wie Funktionen, Algorithmen oder Produktlogiken arbeiten.

Vorteile:

• Kein Flickering: Varianten werden vorab gerendert, sodass Nutzer eine nahtlose Experience erleben.
• Schnellere Performance: Minimale Auswirkungen auf die Ladezeit der Seite.
• Testing mit Tiefgang: Teste Algorithmen, Preismodelle, Suchlogik, Zahlungsmethoden und vieles mehr.
• Omnichannel-Experimente: Führe Experimente über Web, mobile Apps, E-Mail und vernetzte Geräte hinweg durch.
• Mehr Kontrolle: Voller Zugriff auf serverseitigen Code und Nutzer-Tracking – ohne Cookie-Abhängigkeit.
• Sicher: Sensible Daten bleiben auf dem Server.

Anwendungsfälle:

• Mobile-App-Testing: Teste Features in nativen Apps, ohne auf Browser angewiesen zu sein.
• Algorithmen-Optimierung: Vergleiche Empfehlungsmaschinen oder Suchalgorithmen.
• Preisexperimente: Teste Versandkosten, Abo-Modelle oder Zahlungsoptionen.
• Feature-Rollouts: Nutze Feature Flags, um neue Funktionen zunächst für eine Teilgruppe Deiner Nutzer freizugeben.

Am besten geeignet für: 

• das Testen von Produktfunktionen, Backend-Logik und kanalübergreifende Nutzererfahrungen.

Schau dir diese 50 Tests zur Website-Optimierung an → 

Clientseitig oder serverseitig: Was solltest du nutzen?

Welche Option die richtige ist? Das hängt von deinen Zielen ab. Viele Teams kombinieren beide Ansätze für eine maximale Wirkung: Clientseitig für schnelle UI-Gewinne, serverseitig für tiefere Produkt- und Feature-Experimente.

Erfahre mehr über serverseitiges und clientseitiges A/B-Testing hier → 

A/B Testing mit Feature Flags

Mehr als oberflächliches Testen

A/B-Tests eignen sich sehr gut, um „kosmetische“ Änderungen an deiner Website zu testen. Doch was passiert, wenn du Backend-Funktionalitäten oder neue Features testen möchtest? Genau hier kommen A/B-Tests ins Spiel, die über Feature Flags gesteuert werden.

Damit testest du funktionale Features und sprichst Nutzer gezielt an, indem du sie in verschiedene Segmente einteilst. Du definierst Varianten und weist jeder Variante einen bestimmten Prozentsatz zu. In diesem Fall entstehen Varianten durch die Kombination unterschiedlicher Flag-Werte.

Du kannst alle in deinem System verfügbaren Flags nutzen und miteinander kombinieren. So testest du verschiedene Varianten und analysierst, wie deine Nutzer darauf reagieren. Wenn du unterschiedliche Versionen deines Features gleichzeitig an vordefinierte Traffic-Anteile ausspielst, kannst du die gewonnenen Daten auswerten und ermitteln, welche Version besser performt.

Experiment Toggles

Solche Feature Flags werden im Experimentation-Kontext auch Experiment Toggles genannt. Sie sind sehr dynamisch und bleiben einige Tage oder Wochen im Code – lange genug, bis genügend A/B-Testdaten für ein statistisch signifikantes Ergebnis vorliegen.

Feature Flags für serverseitige Tests

Feature Flags sind ein Tool aus der Softwareentwicklung, die Deployment und Release voneinander entkoppeln. Das beschleunigt Releases und reduziert Risiken.

Mit Feature Flags kannst du neue Funktionen zunächst für eine kleine Nutzergruppe aktivieren. Dann misst du die Performance der Funktionen in dieser Nutzergruppe, bevor du sie breiter ausrollst.

Wenn Du serverseitiges Testing ausprobieren möchtest, unterstützt AB Tasty dich dabei, sichere Experimente für Deine Features aufzusetzen. Mithilfe der serverseitigen Experimentation von AB Tasty definierst Du Nutzergruppen und relevante KPIs, um Ergebnisse zuverlässig zu messen – und neue Releases schneller und sicherer auf den Weg zu bringen.

Bereit für den nächsten Schritt? Dann lass uns gemeinsam bessere Nutzererfahrungen entwickeln →