Chad Sanderson analysiert die erfolgreichsten Arten von Experimentation basierend auf Unternehmensgröße und Wachstumsambitionen
Für Chad Sanderson, Head of Product – Data Platform bei Convoy, sind die Rolle von Daten und Experimenten untrennbar miteinander verbunden.
Bei Convoy leitet er das End-to-End-Team für die Datenplattform, das u. a. die Bereiche Data Engineering, Machine Learning, Experimentation und die Data Pipeline umfasst – sowie zahlreiche weitere Teams, die alle dazu beitragen, dass Tausende von Transportunternehmen ihre Fracht effizienter verschicken können. Diese Rolle verschafft ihm einen umfassenden Überblick über den gesamten Prozess, von der Ideenfindung über die Entwicklung bis hin zur Umsetzung.
Dadurch hat Chad eine Perspektive, die den meisten Praktikern verwehrt bleibt: den End-to-End-Prozess der Experimentation – von der Hypothese über die Definition von Daten, die Analyse und das Reporting bis hin zu den Finanzkennzahlen am Jahresende. Im Gespräch mit Marylin Montoya, VP Marketing bei AB Tasty, teilte er daher einige seiner Erkenntnisse über die Disziplin der Experimentation und die Herausforderungen bei der Identifikation vertrauenswürdiger Kennzahlen.
Einführung von Experimentation als Disziplin
Experimente, trotz all ihrer Anerkennung, sind noch immer ein relativ neues Feld. Es ist schwierig, umfangreiche Sammlungen von Fachliteratur oder einen akademischen Ansatz zu finden (auch wenn Ronny Kohavi einige Gedanken zu diesem Thema niedergeschrieben hat). Außerdem wird Experimentation nicht als eigenständige Disziplin der Datenwissenschaft angesehen, insbesondere im Vergleich zu Bereichen wie Machine Learning oder Data Warehousing.
Auch wenn es hier und da einige Tipps in Blogs gibt, fehlt es häufig an fundiertem technischem Wissen und bewährten Praktiken, um eine Plattform aufzubauen, eine Metrikbibliothek zu erstellen und die richtigen Kennzahlen systematisch auszuwählen.
Chad beschreibt die Zugänglichkeit von Experimenten als zweischneidiges Schwert. Viele Unternehmen wenden nicht die gleiche Strenge an wie in anderen Bereichen der Datenwissenschaft, weil es leicht ist, mit einem Marketingansatz zu starten. Doch mit dem Wachstum des Unternehmens steigen auch die Reife und die Komplexität der Experimente. Genau dann ist die Fachliteratur zu Plattformentwicklung und Skalierung jedoch spärlich, was dazu führt, dass das Feld unterschätzt wird und es schwierig ist, die richtigen Profile zu rekrutieren.
Bleibe up to date in Sachen Customer Experience Optimization: Melde dich zu unserem Newsletter an. Jetzt anmelden!
Wann kleinskalige Experimente die beste Wahl sind
Wenn du ein Unternehmen in gigantischem Maßstab bist – wie Microsoft oder Google mit unterschiedlichen Geschäftseinheiten, Datenquellen, Technologien und Abläufen – ist die Einführung neuer Features oder Änderungen ein extrem riskantes Unterfangen. Jeder Fehler könnte Millionen von Nutzern betreffen. Stell dir vor, ein Bug würde versehentlich in Microsoft Word oder PowerPoint eingeführt werden: Die Auswirkungen auf das Geschäftsergebnis wären verheerend.
Der beste Ansatz für solche Unternehmen ist ein vorsichtiger, kleinskaliger Experimentierprozess. Das Ziel besteht darin, schnelle Maßnahmen zu ergreifen, Probleme in Echtzeit zu erkennen und sie umgehend rückgängig zu machen.
Andererseits sieht der Ansatz völlig anders aus, wenn du ein Startup in einer Phase des Hyperwachstums bist. Diese kleineren Unternehmen müssen ihren Investoren in der Regel zweistellige Wachstumsraten mit jeder neuen Funktion vorweisen. Das bedeutet, dass ihre Maßnahmen darauf abzielen, die positive Wirkung der Funktion und die Nachhaltigkeit ihres Erfolgs zu beweisen.
Mach Kennzahlen zu deinen vertrauenswürdigen Verbündeten
Jedes Unternehmen hat sehr unterschiedliche Kennzahlen, je nachdem, was es erreichen möchte. Es ist entscheidend, genau zu definieren, was du willst, bevor du mit dem Experimentieren beginnst und dein Programm aufbaust.
Eine wichtige Frage, die du dir stellen solltest, ist: Was ist den Entscheidungsträgern wichtig? Was möchte die Führungsebene erreichen? Dies ist der Schlüssel, um die richtigen Kennzahlen zu definieren, die dein Unternehmen tatsächlich in die gewünschte Richtung bewegen. Chad empfiehlt, dies zu tun, indem du zwischen Frontend- und Backend-Kennzahlen unterscheidest: Erstere sind leicht verfügbar, letztere eher weniger. Client-seitige Kennzahlen, die er als Frontend-Kennzahlen bezeichnet, messen beispielsweise den Umsatz pro Transaktion. Alle Kennzahlen führen letztlich zum Umsatz, was an sich nicht unbedingt schlecht ist. Allerdings bedeutet das, dass alle Entscheidungen auf Umsatzwachstum basieren und weniger darauf, die Skalierbarkeit oder den tatsächlichen Erfolg einer Funktion zu beweisen.
Chad rät, mit den bestehenden Messproblemen zu beginnen, daraus eine Experimentierkultur aufzubauen, das System zu entwickeln und schließlich eine Plattform auszuwählen.
Bleibe up to date in Sachen Customer Experience Optimization: Melde dich zu unserem Newsletter an. Jetzt anmelden!
Was kannst du noch aus unserem Gespräch mit Chad Sanderson lernen?
- Unterschiedliche Anforderungen an Experimente in Engineering und Marketing
- Aufbau einer Experimentierkultur von oben nach unten
- Die Nachteile bei der Skalierung von MVPs
- Warum Marketer die Vorreiter der Experimentation sind
Über Chad Sanderson
Chad Sanderson ist Experte für digitale Experimente und Analysen im großen Maßstab. Er ist Produktmanager, Autor und Redner, der Vorträge zu Themen wie fortgeschrittene Experimentanalyse, die Statistik digitaler Experimente, kleinskalige Experimente für kleine Unternehmen und mehr gehalten hat. Zuvor war er als Senior Program Manager für Microsofts KI-Plattform tätig. Davor arbeitete Chad im Experimentation-Team von Subway als Personalisierungsmanager.
Über den 1,000 Experiments Club
Der 1,000 Experiments Club ist ein von AB Tasty produzierter Podcast, der von Marylin Montoya, VP of Marketing bei AB Tasty, moderiert wird. Begleite Marylin und das Marketing-Team, wenn sie sich mit den erfahrensten Experten in der Welt des Experimentierens zusammensetzen, um Erkenntnisse darüber zu sammeln, was nötig ist, um erfolgreiche Experimente zu entwickeln und durchzuführen.
Kennst du diese Folge schon?
Wenn nicht, wirf doch gerne direkt einen Blick in unseren letzten Artikel zur Podcast-Episode mit Ronny Kohavi, mit dem wir darüber gesprochen haben, warum Scheitern eigentlich eine gute Sache ist.
