Wenn Sie „A/B-Testing“ hören, denken Sie dann sofort an Umsatzsteigerung? Uplift? An ein finanzielles Ergebnis?

Laut David Mannheim, CEO der Conversion Rate Optimization (CRO) Agentur User Conversion, ist wahrscheinlich genau das der Fall – doch das sollten Sie nicht. Hier ist der Grund dafür:

Leider ist es nicht ganz so einfach.

Experimentieren ist mehr als nur eine schnelle Strategie, um Ihren ROI zu steigern.

In diesem Artikel erörtern wir, warum wir experimentieren, welche Herausforderungen bei der Bewertung des Return on Investment (ROI) zu bewältigen sind, welche Prioritäten gesetzt werden müssen und worum es bei A/B-Testing-Experimenten wirklich geht.

Warum experimentieren wir?

Technisch gesehen wird ein Experiment durchgeführt, um eine Hypothese zu bestätigen oder zu verwerfen. Experimente liefern Ihnen wertvolle Erkenntnisse über Ursache-Wirkungs-Beziehungen, indem sie das Ergebnis eines bestimmten Tests ermitteln, wenn verschiedene Faktoren in einem kontrollierten Umfeld manipuliert werden.

Mit anderen Worten: Ohne Experimente gibt es keine Möglichkeit, eine Hypothese zu widerlegen und das Risiko von Geschäftseinbußen oder negativen Auswirkungen auf die Kennzahlen zu verringern.

Beim Experimentieren geht es darum, Prioritäten zu setzen, das Risiko zu minimieren und aus den Ergebnissen zu lernen. Die Tests, die Sie durchführen wollen, sollten entsprechend vor diesem Hintergrund entwickelt werden. Es geht nicht unbedingt darum, die „richtige“ oder „falsche“ Entscheidung zu treffen, sondern Experimente helfen Ihnen, bessere Entscheidungen auf der Grundlage von Daten zu treffen.

Anschaulich ausgedrückt, sieht das Experimentieren etwa so aus:

Online-Experimente in der Business-Welt müssen sorgfältig konzipiert sein, um etwas zu lernen, einen bestimmten Zweck zu erfüllen und/oder einen wichtigen Key Performance Indicator zu messen, der möglicherweise keine unmittelbaren finanziellen Auswirkungen hat.

Viel zu oft sind es jedoch die wichtigsten Stakeholder (oder HiPPOs), die entscheiden, welche Tests zuerst implementiert werden. Ihr Hauptanliegen? Die Zeit, die benötigt wird, um eine deutliche Umsatzsteigerung zu erzielen.

Diese Tendenz führt uns zu der folgenden Theorie:

Der ROI von Experimenten ist unmöglich zu erreichen, weil die Branche darauf getrimmt ist, dass es bei A/B-Testing nur um Gewinn geht.

Frustrationen und Herausforderungen bei ROI-Erwartungen

Vielleicht fragen Sie sich an dieser Stelle: Was ist so schlimm daran, von A/B-Tests eine Umsatzsteigerung zu erwarten? Ist es nicht normal, einen deutlichen ROI zu erwarten?

Das ist normal, aber so einfach ist die Sache nicht.

Was im Wege steht, ist die klare Erwartungshaltung: „Wenn wir X investiert haben, müssen wir Y herausholen.“

Dies ist ein irreführender CRO-Mythos, der uns in die Quere kommt.

Die Stakeholder sind zu der fälschlichen Überzeugung gelangt, dass jeder durchgeführte Test genauso funktioniert – was unrealistische Erwartungen in Bezug auf den ROI an die ExpertInnen von Conversion Optimierung geweckt hat.

Wie Sie sich vorstellen können, führt diese Denkweise zu Frustration bei denjenigen, die Online-Experimente durchführen.

Was oft übersehen wird, ist die Komplexität des Kontextes, in dem die Tests stattfinden und der ROI bewertet wird.

Es ist nicht immer möglich, alles online genau zu messen, was eine exakte Bestimmung des Wertes nahezu unmöglich macht.

Obwohl die Ermittlung der Auswirkungen von Experimenten aufgrund der Komplexität des Kontexts eine ziemliche Herausforderung sein kann, gibt es einige Online-Tools, mit denen Sie Ihre ROI-Bemühungen so genau wie möglich messen können.

AB Tasty ist ein Beispiel für ein A/B-Testing-Tool, mit dem Sie schnell Tests mit Low-Code-Implementierung von Front-End- oder UX-Änderungen auf Ihren Webseiten einrichten, über ein ROI-Dashboard Erkenntnisse sammeln und feststellen können, welcher Weg Ihren Umsatz steigern wird.

Abgesehen von der Frustration, die sich aus der tief verwurzelten ROI-Erwartung ergibt, sich auf unmittelbare finanzielle Verbesserungen zu konzentrieren, sind drei der größten Herausforderungen des ROI von Experimenten die Prognose, die Arbeit mit Durchschnittswerten und multiple Tests.

Challenge #1: Prognosen

Die erste Herausforderung bei der Bewertung des ROI von Experimenten besteht in der Prognose. Ob AnalystInnen eine exakte Prognose für die Umsatzsteigerung aus einem bestimmten Test stellen können, hängt von zahlreichen Faktoren ab, wie z. B:

• Paid-Traffic-Strategie
• Online und Offline Marketing
• Newsletter
• Angebote
• Bugs
• Entwicklung des Device Traffics
• Jahreszeit
• Was die MitbewerberInnen machen
• Gesellschaftliche Faktoren (Brexit)

Was die Schätzung der Umsatzprognose für das folgende Jahr auf der Grundlage eines einzigen Experiments angeht, so ist es unmöglich, eine genaue Zahl vorherzusagen. Es ist nur möglich, einen ROI-Trend oder einen erwarteten Durchschnitt vorherzusagen.

Wer für jeden durchgeführten Test eine präzise Prognose erwartet, geht an der Realität vorbei – Dazu ist der Kontext jedes Online-Experiments zu komplex.

Challenge #2: Mit Durchschnittswerten arbeiten

Die nächste Herausforderung besteht darin, dass Ihr CRO-Team mit Durchschnittswerten arbeitet – genauer gesagt, mit den Durchschnittswerten von Durchschnittswerten.

Angenommen, Sie haben ein hervorragendes Website-Experiment für ein spezielles Segment Ihrer Zielgruppe durchgeführt – und dabei eine hohe Steigerung der Conversion Rate erzielt.

Wenn Sie dann einen Blick auf Ihre globale Conversion Rate für Ihre gesamte Website werfen, ist die Wahrscheinlichkeit groß, dass dieser Anstieg in den Durchschnittsdaten untergeht.

Ihre Umsatzflut wird zu einem kaum wahrnehmbaren Rinnsal. Und genau das ist ein großes Problem, wenn man versucht, die gesamte Conversion Rate oder den Umsatzanstieg zu bewerten – es gibt einfach zu viele externe Faktoren, um sich ein genaues Bild machen zu können.

Im Endeffekt läuft es darauf hinaus, dass Sie einen Durchschnittswert verschieben. Durchschnittswerte machen es sehr schwierig, ein klares Verständnis zu bekommen.

Im Allgemeinen werden durchschnittliche KundInnen, für die ein durchschnittlicher A/B-Test durchgeführt wird,… durchschnittliche Ergebnisse erzielen.

Challenge #3: Multiple Tests

Die dritte Herausforderung in Bezug auf die ROI-Erwartungen tritt auf, wenn Sie mehrere Tests gleichzeitig durchführen und versuchen, die Ergebnisse zu aggregieren.

Auch hier ist die Versuchung groß, einfache mathematische Gleichungen aufzustellen, um eine klare Antwort auf die Frage nach Ihrem Gewinn zu erhalten. Doch die Realität ist komplizierter als das.

Wenn Sie mehrere Experimente gruppieren und die Auswirkungen zusammenfassen, erhalten Sie schwammige Ergebnisse.

Dies macht ROI-Berechnungen für Experimente zu einem Albtraum für diejenigen, die gleichzeitig Tests durchführen. Die beste Vorgehensweise bei der Durchführung mehrerer Tests ist es, die Experimente und ihre jeweiligen Ergebnisse getrennt zu halten.

Sollte der Umsatz immer an erster Stelle stehen?

Ist „Umsatz an erster Stelle“ die beste Einstellung? Wenn Sie etwas Abstand nehmen und die Sache überdenken, ergibt es für Conversion OptimiererInnen keinen Sinn, davon auszugehen, dass ausschließlich der Umsatzanstieg der primäre Erfolgsindikator für ihr gesamtes Experimentierprogramm ist.

Was würde passieren, wenn alle Unternehmen den Umsatz immer an die erste Stelle setzen würden?

Für eine E-Commerce-Website wäre dies das Ende von Gratis-Rücksendungen (Rücksendungen steigern nicht den Gewinn!) oder kostenlosen Süßigkeiten in der Versandpackung (denken Sie an ASOS). Auf der Website wären nur billige Fotos von Produkten zu sehen und so weiter und so fort.

Wenn Sie den sofortigen Umsatzanstieg an erste Stelle setzen – was Stakeholdern in einem Experimentierkontext so oft vorschwebt – wären die Auswirkungen noch unangenehmer.

Sehen wir uns einige Beispiele an: Sie würden den magersten Kundenservice anbieten, um Kosten zu sparen, unaufhörlich Angebote mit dem CTA „Jetzt kaufen“ machen, alles mit Rabatten versehen und jede Art von Initiativen für Markentreue vergessen. Müssen wir noch mehr sagen?

Kurzum, wer sich zu stark auf einen sofortigen, deutlich messbaren Umsatzanstieg konzentriert, schadet unweigerlich der Customer Experience. Und das wiederum wird langfristig Ihren Umsatz schmälern.

Worum sollte es beim A/B-Testing also gehen?

Ein Patentrezept für ExperimentiererInnen sind binomische Metriken.

Vermeiden Sie die Ungenauigkeit und einen Großteil der Komplexität, indem Sie Tests durchführen, die eine Ja/Nein-, Schwarz/Weiß-Antwort mit sich bringen.

In ähnlicher Weise sollten Sie Ihre Hypothesen klar und überlegt formulieren. Setzen Sie Ihre sekundären Metriken geschickt ein: Nutzen Sie das Experimentieren, um Verluste zu vermeiden, das Risiko zu minimieren usw.

Aber das Beste, was Sie tun können, ist, Ihre Erwartungen anzupassen.

Statt zu meinen, dass Experimente unweigerlich und immer zu einem klaren Umsatzanstieg führen sollten, könnten Sie jetzt davon ausgehen, dass wir durch Experimentieren bessere Entscheidungen treffen können.

Diese besseren Entscheidungen – zusammen mit allen anderen Bestrebungen des Unternehmens – lenken Ihr Unternehmen in eine bessere Richtung, die auch einen Umsatzanstieg verspricht.

Die ROI-Theorie des Experimentierens

Vor diesem Hintergrund können wir die ursprüngliche Theorie des ROI von Experimenten leicht abändern: