Wenn Sie „A/B-Testing“ hören … woran denken Sie dann? Umsatzplus? Uplift? Klingelnde Kassen? David Mannheim, CEO der Conversion Rate Optimization (CRO) Agentur User Conversion, erklärte auf unserem letzten CRO on Tap Event, dass wahrscheinlich genau das der Fall ist – und Sie damit an das denken, woran sie nicht denken sollten. Hier ein paar gute Gründe.

Warum experimentieren wir?

Gleich zu Beginn seiner Präsentation forderte David die Anwesenden auf, eine Reihe von Vermutungen zu hinterfragen. Er stellte eine scheinbar offensichtliche, und wie sich dann allerdings herausstellte, ziemlich kontroverse Frage: Warum experimentieren wir?

Theoretisch sollte Experimentieren in etwa so aussehen:

Er erklärte, dass es beim Experimentieren im Idealfall um Lernen, Prioritäten setzen und Risikominimierung geht – und vor diesem Hintergrund auch die Tests entwickelt werden sollten, die wir durchführen.

Er stellte jedoch fest, dass die wichtigsten Stakeholder (oder HiPPOs)  viel zu oft entscheiden, welche Tests zuerst implementiert werden – und HiPPOS halten eisern an der deutlichen Umsatzsteigerung als Hauptanliegen fest;

Aufgrund dieses Trends stellte David folgende Theorie auf:

Der ROI von Experimenten lässt sich nicht erzielen, weil es der Branche bei A/B-Testing nur um den Gewinn geht.

Kontext, Kontext, Kontext

Der Leser fragt sich an dieser Stelle vielleicht: Was ist denn so schlimm daran, sich von A/B-Tests Umsatzsteigerungen zu versprechen? Was ich sagen will, es ist doch normal, einen deutlichen ROI zu erwarten, oder?

Schon möglich – doch so einfach liegen die Dinge nicht, erklärte David.

Was im Wege steht, ist vielmehr die klare Erwartungshaltung: „Wenn wir X investiert haben, müssen wir Y herausholen“. In der Branche machten irreführende „CRO-Mythen“ die Runde, die von Websites wie „Which Test Won“ verbreitet wurden und das 60 Millionen Dollar Experiment der Spendenkampagne von Barack Obama, das mittlerweile zur Folklore gehört. Die Stakeholder sind dadurch (fälschlicherweise) zur festen Überzeugung gelangt, dass jeder ihrer Tests genauso funktioniert – was unrealistische Erwartungen an die Experten von Conversion Optimierung geweckt hat.

Die Branche hat diese Denkweise kultiviert. Weil wir behaupten, dass alles online messbar ist, herrscht nun die Meinung, dass sich alles genau beziffern lässt. Doch das stimmt nicht. Und genau das ist die Kehrseite, wenn man meint, alles sei online messbar.

Annemarie Klassen, Conversion Manager, Tix.nl

Oftmals sieht man laut David über die Komplexität des Kontexts hinweg, in dem die Tests stattfinden – und der ROI bewertet wird. David ging näher auf drei der größten Herausforderungen in dieser Sache ein:

Challenge #1: Prognosen

Die erste Herausforderung bei der Bewertung des ROI von Experimenten besteht in der Prognose. Ob ein Analyst  eine exakte Prognose für die Umsatzsteigerung eines Projekts aus einem bestimmten Test stellen kann, hängt von zahlreichen Faktoren ab:

• Paid-Traffic-Strategie
• Online und Offline Marketing
• Newsletter
• Angebote
• Bugs
• Entwicklung des Device Traffics
• Jahreszeit
• Was die Mitbewerber machen
• Gesellschaftliche Faktoren (Brexit)
• …

Um das Thema genauer einzukreisen, sprach David mit dem CRO-Spezialisten Mathieu Fauveaux, der sich zu diesem Punkt wie folgt äußerte:

Auf Basis eines einzigen Experiments ist es unmöglich, eine Umsatzprognose für 12 Monate zu stellen gestellt werden. Wir können höchstens von einem Trend oder einem durchschnittlichen Betrag ausgehen. Ich bin noch nie auf ein Team mit einer derartigen Prognosefähigkeit oder Vision gestoßen.

Wer für jeden durchgeführten Test eine präzise Prognose erwartet, geht an der Realität vorbei. Dazu ist der Kontext zu komplex.

Challenge #2: Mit Durchschnittswerten arbeiten

Ein weiterer Punkt ist Reporting: Unser CRO-Team arbeitet meist mit Durchschnittswerten – genauer gesagt mit Durchschnittswerten von Durchschnittswerten.

Angenommen, Sie haben für ein spezielles Segment Ihrer Zielgruppe ein besonders herausragendes Experiment durchgeführt, mit einer stark angestiegenen Conversion Rate. Wenn Sie sich dann Ihre globale Conversion Rate für Ihre gesamte Website ansehen, wird der Anstieg höchstwahrscheinlich von den nackten Zahlen (Mittelwertbildung) geschluckt, die zur Gewinnung dieser Daten nötig sind. Ihre Umsatzflut wird zu einem kaum wahrnehmbaren Rinnsal. Und genau das ist ein großes Problem, wenn die Conversion Rate insgesamt oder der Umsatzanstieg bewertet werden soll – es gibt einfach zu viele externe Faktoren, um sich ein genaues Bild machen zu können.

Im Endeffekt läuft es darauf hinaus, dass Sie einen Durchschnittswert verschieben. Im Allgemeinen erzielt ein Durchschnittskunde, für den ein durchschnittlicher A/B-Test durchgeführt wird … durchschnittliche Ergebnisse. Das ist an sich nichts Weltbewegendes. Durchschnittswerte sind im Grunde immer eine Lüge.

Craig Sullivan, Optimal Visit

Challenge #3: Multiple tests

Ein weiteres Problem ist die gleichzeitige Durchführung mehrerer Tests und der Versuch, die Ergebnisse zu aggregieren.  Auch hier ist die Versuchung groß, einfache mathematische Gleichungen auszuführen, um eine klare Antwort auf die Frage nach Ihrem Gewinn zu erhalten. Doch die Realität ist komplizierter, wie Stephen Pavlovich, CEO of Conversion.com, erklärt:

Ich hätte Bedenken, mehrere Experimente zu gruppieren und die Auswirkungen zusammenzufassen. Denn dann fassen Sie schwammige Ergebnisse zusammen … was das Ganze verzerrt. Eine Menge Leute tendieren in diese Richtung – und sind damit auf dem Irrweg.

Soll der Umsatz immer an erster Stelle stehen?

Wenn Sie etwas Abstand nehmen und die Sache überdenken, ergibt es für Conversion Optimierer keinen Sinn, davon auszugehen, dass ausschließlich der Umsatzanstieg  der primäre Erfolgsindikator für ihr gesamtes Experimentierprogramm ist.

David kontextualisierte dieses Thema mit der folgenden Frage an die Anwesenden: Was würde passieren, wenn alle Unternehmen den Umsatz immer an erste Stelle setzten?

Für eine E-Commerce-Website wäre dies das Ende von Gratis-Rücksendungen (Rücksendungen steigern nicht den Gewinn!) oder kostenlosen Süßigkeiten in der Versandpackung (denken Sie an ASOS). Auf der Website wären nur billige Fotos von Produkten zu sehen und so weiter und so fort.

Wenn Sie den sofortigen Umsatzanstieg an erste Stelle setzen – was Stakeholdern in einem Experimentierkontext so oft vorschwebt – wären die Auswirkungen noch unangenehmer: ein Kundenservice unter aller Kritik, um Kosten zu sparen, Angebote mit dem CTA „Jetzt kaufen!“ ohne Ende, Rabatte auf alles und keine Initiativen für Markentreue, usw.

Kurzum, wer sich zu stark auf einen sofortigen, deutlich messbaren Umsatzanstieg konzentriert, schadet unweigerlich der Customer Experience. Und das wiederum wird langfristig Ihren Umsatz schmälern.

Worum sollte es beim A/B-Testing also gehen?

Ein Patentrezept für Experimentierer sind binomische Metriken. Führen Sie Tests durch, die eine Ja/Nein-, Schwarz/Weiß-Antwort mit sich bringen. Sie vermeiden damit Unklarheiten und viele Schwierigkeiten.

In ähnlicher Weise sollten Sie Ihre Hypothesen klar und überlegt formulieren. Setzen Sie Ihre sekundären Metriken geschickt ein:

Experimentieren Sie, um Verluste zu vermeiden, Risiken zu minimieren usw.

Aber u. U. ist es am besten,  Ihre Erwartungen zu ändern. Statt zu meinen, dass Experimente unweigerlich und immer zu einem klaren Umsatzanstieg führen sollten, könnten Sie jetzt davon ausgehen, dass wir durch Experimentieren bessere Entscheidungen treffen können. Und diese besseren Entscheidungen – zusammen mit allen anderen Bestrebungen des Unternehmens – lenken Ihr Unternehmen in eine bessere Richtung, die auch einen Umsatzanstieg verspricht:

Vor diesem Hintergrund änderte David seine ursprüngliche Theorie etwas ab und konnte so zu einem Schluss kommen, der alle Anwesenden zufrieden stellte: