A/A TestingDas A/A Testing ist gar nicht so bekannt, sorgt dafür aber für ordentlich Diskussionsstoff. Fest steht: Wer mit einem A/B Testing Tool arbeitet, dem kann das Aufsetzen von A/A Tests einen klaren Mehrwert bieten.

Doch vorab:

Was ist A/A Testing eigentlich?

Bei einem A/A Test werden zwei exakt gleiche Varianten einer Webseite gegeneinander getestet.

Zwei identische Varianten, wirklich? Ohja!

Damit prüft man, ob das eingesetzte Testing-Tool statistisch einwandfreie Ergebnisse liefert und datenbasierte Entscheidungen verlässlich getroffen werden können.

In 3 Fällen kommen A/A Tests zum Einsatz:

  • Um zu prüfen, wie genau das A/B Testing Tool misst.
  • Um eine Conversion Rate als Maßstab für zukünftige Kampagnen aufzustellen.
  • Um die geeignete Stichprobengröße für einen A/B Test festzulegen.

Man unterscheidet folgende Arten von A/A Tests:

  • A/A 50/50 Test: Der am häufigsten verwendete A/A Test. Der ankommende Traffic wird dafür nach dem Zufallsprinzip in zwei gleich große Gruppen aufgeteilt, wobei jede Gruppe dieselbe Seite ausgespielt wird. Die Conversion Rate wird entsprechend gemessen. Bestehen statistisch erhebliche Unterschiede zwischen beiden Seiten, kann dies auf Softwareprobleme zurückzuführen sein.
  • A/A/B/B 25% Test: Eine Originalseite A wird dupliziert; die Variante B wird ebenfalls dupliziert. Ähnlich wie beim A/A Test werden dieselben Seiten nun statistisch miteinander verglichen (A mit A und Variante B mit B).
  • A/B/A Test: Bei diesem Test wird der Traffic nach dem Zufallsprinzip in drei Gruppen aufgeteilt, von welchem zwei zu einer identischen Seite führen. Auf diese Weise können Probleme, die  mit dem Seitenaufbau zusammenhängen, schneller identifiziert werden. Diese Methode benötigt allerdings ein umfangreicheres Reporting.

Prüfen, wie genau das A/B Testing Tool misst

Bei einem A/A Test vergleichen wir zwei identische Versionen einer Seite miteinander.

Dabei sollten die Ergebnisse beider Varianten natürlich nicht voneinander abweichen. Die Idee ist, zu prüfen, ob das Tool gut arbeitet.

Daher kommen A/B Tests zum Einsatz, wenn eine neue A/B Testing Lösung eingeführt wird.

Nichtsdestotrotz kommt es manchmal zu Abweichungen. Hier gilt es herauszufinden, warum das so ist und genau dazu ist das A/A Testing so nützlich.

  • Der Test wurde vielleicht nicht korrekt aufgesetzt
  • Das Tool ist vielleicht nicht richtig konfiguriert
  • Das Tool ist nicht geeignet

Conversion Rate als Maßstab für zukünftige Kampagnen aufstellen

Gehen wir einmal davon aus, dass Sie eine Reihe von A/B Tests auf Ihrer Homepage planen. Sie führen ein geeignetes Testing-Tool ein, doch ein Problem ergibt sich: Sie wissen nicht, mit welcher Conversion Rate Sie die neuen Varianten überhaupt vergleichen sollen.

In diesem Fall kann ein A/A Test Ihnen helfen, eine aktuelle Conversion Rate als „Referenz“ für zukünftige Testkampagnen zu ermitteln.

Wenn Sie zum Beispiel einen A/A Test auf Ihrer Homepage starten, dessen Ziel das Ausfüllen eines Kontaktformulares ist, werden Sie beim Vergleich – nahezu – identische Ergebnisse erhalten (was ganz normal ist): z. B. 5,01% und 5,05% Conversions. Sie können diese Daten nun mit Gewissheit weiterverwenden, da Sie die Conversion Rate Ihrer Website akkurat wiederspiegeln. In nachfolgenden A/B Tests können Sie dann alles daran setzen, diese Zahlen zu steigern und zu optimieren. Und Sie wissen nun auch: Wenn eine Testvariante die Conversion Rate auf 5,05% steigert, ist das eigentlich überhaupt keine klare Verbesserung. Minimale Unterschiede wie diesen kennen Sie ja nun bereits aus Ihrem A/A Test.

Die geeignete Stichprobengröße für einen A/B Test festlegen

Die große Herausforderung beim Vergleich zweier gleicher Varianten ist der „Glücksfaktor“. Manchmal hat eine Variante einfach mehr Glück als eine andere, User konvertieren ausgerechnet im Testzeitraum eher auf der einen als auf der anderen und am Ende lassen die Ergebnisse es so aussehen, als sei die eine Version der klare Sieger.

Da alle Tests auf statistischen Ergebnissen basieren, ist eine gewisse Fehlerspanne natürlich immer vorhanden und kann die Ergebnisse Ihrer A/B Testing Kampagnen beeinflussen.

Was kann man dagegen tun? Klassische Statistik: Erhöhen Sie die Stichprobengröße, um Risikofaktoren (hier das „Glück“ einer Variante) so gering wie möglich zu halten.

Wenn Sie einen A/A Test durchführen, werden Sie selbst sehen, bei welcher Stichprobengröße sich nahezu identische Ergebnisse zwischen beiden Varianten ergeben.

Mit anderen Worten: Mit einem A/A Test können Sie die perfekte Stichprobengröße ermitteln, um den beeinflussenden Faktor „Glück“ bei Ihren Testkampagnen so gering wie möglich zu halten.

Wie groß soll meine Stichprobe sein? Das können Sie nun mit unserem Stichprobenrechner bestimmen!

A/A Testing: reine Zeitverschwendung?

Die heiß diskutierte Frage im A/B Testing: Lohnt es sich überhaupt, meine Mühe in die Durchführung eines A/A Tests zu investieren?

Das Kernstück dieser Debatte: die Zeit.

Einen A/A Test aufzusetzen verlangt Zeit und Traffic.

In der Tat nimmt ein A/A Test sogar mehr Zeit als ein A/B Test in Anspruch, da wegen der identischen Varianten erheblich mehr Traffic nötig ist, um signifikante Ergebnisse und Conversion Rates zu erhalten.

Laut ConversionXL besteht das Problem für viele darin, dass das A/A Testing zeit-intensiv ist und Traffic „verbraucht“, den man eigentlich für „richtige“ Testkampagnen, die unterschiedliche Varianten einer Website miteinander vergleichen, nutzen könnte.

Fest steht: Auf Seiten mit hohem Besucheraufkommen ist das A/A Testing unproblematischer.

Wenn Sie eine Website gerade erst launchen oder Ihre Homepage nur wenig Traffic hat, sollten Sie Ihre Zeit nicht für einen A/A Test aufwenden: Konzentrieren Sie sich stattdessen darauf, Ihren Sales Funnel oder die Customer Lifetime Value zu optimieren. Diese Tests werden Sie deutlich mehr überzeugen und sind – was am Ende wirklich zählt – für Ihr Geschäft viel wichtiger.

Eine spannende Alternative: der einfache Datenvergleich

Um die Leistung Ihres A/B Testing Tools zu prüfen, haben Sie noch eine weitere Möglichkeit, die leicht umzusetzen ist. Dazu muss Ihr Tool die Integration mit einem Analytics-Tool ermöglichen.

So können Sie anschließend die Daten vergleichen und bewerten, ob diese gleiche Ergebnisse liefern: ein einfacher Trick, um die Effektivität Ihres Testing-Tools zu prüfen.

Wenn Sie signifikante Unterschiede zwischen den Tools bemerken, wissen Sie, dass:

  • eines nicht korrekt konfiguriert ist
  • oder nicht gut arbeitet und ersetzt werden muss.

Hat Ihnen dieser Artikel gefallen? Gerne sprechen wir mit Ihnen darüber.