Blogartikel

7min. Lesezeit

Ein ergebnisorientierter Ansatz | Ruben de Boer

Ruben de Boer erklärt, wie man eine stabile Testumgebung schafft, die den Weg für bessere Experimente im gesamten Unternehmen ebnet

Ruben de Boer ist ein leitender CRO-Manager und Consultant mit über 14 Jahren Erfahrung im Bereich Daten und Optimierung. Bei Online Dialogue leitet Ruben das Team der Conversion Manager, entwickelt die Fähigkeiten und die Qualität des Teams und legt die Strategie und die Ziele des Teams fest. Er gibt sein Wissen sowohl als Lehrer bei Udemy mit über 12.000 Studenten als auch als öffentlicher Redner zu Themen wie Experimentation, Change Management, CRO und persönliches Wachstum weiter.

Im Jahr 2019 gründete Ruben sein Unternehmen Conversion Ideas. Mit diesem hilft er Menschen dabei, ihre Karriere in den Bereichen Conversion Rate Optimization und Experimentation zu starten. In diesem Kontext bietet er erschwingliche, hochwertige Online-Kurse und eine Reihe von Ressourcen an.

Marylin Montoya, VP Marketing von AB Tasty, sprach mit Ruben über spannende Trends und Entwicklungen in der Welt des Experimentierens. Darunter auch über die verschiedenen Möglichkeiten, wie KI die Optimierung des Experimentierprozesses beeinflussen kann. Ruben erzählt auch, wie man funktionsübergreifende Teams einbeziehen kann, um eine erfolgreiche Experimentierkultur im Unternehmen zu implementieren. Er geht außerdem darauf ein warum es wichtig ist, ein ergebnis- statt output-orientiertes Mindset zu entwickeln.

Hier sind einige der wichtigsten Erkenntnisse aus ihrem Gespräch.

Das Ziel sollte immer ergebnisorientiert sein

Basierend auf seiner Erfahrung, ist Ruben der Meinung, dass einer der größten Fehler, mit dem Unternehmen beim Start der Experimentierphase konfrontiert sind, darin besteht, dass sie sich mehr auf den Output als auf die Ergebnisse fokussieren.

„Wenn ein Unternehmen immer noch sehr output-orientiert ist, im Sinne von, wir müssen eine bestimmte Anzahl von Sprint-Punkten pro Sprint liefern und wir müssen in diesem Jahr so viele neue Funktionen veröffentlichen, dann können Experimente natürlich als etwas angesehen werden, das die Arbeit verlangsamt, nicht wahr? Nehmen wir als Faustregel an, dass 25 % der A/B-Tests oder Experimente zu einem Gewinner führen, dann werden 75 % dessen, was entwickelt wurde, nicht veröffentlicht, was bedeutet, dass der Manager die Output-Ziele nicht erreicht.“

In diesem Szenario wird das Experimentieren zu einem Hindernis, das diese Ergebnisse verlangsamt. Wenn ein Unternehmen hingegen eine Ergebnisorientierung anstrebt, macht es mehr Sinn, Experimente durchzuführen, mit dem Ziel, mehr Wert für den Kunden zu schaffen. Mit einem ergebnisorientierten Mindset lassen sich die Teams auf Experimente ein, bei denen die Kunden im Zentrum des Prozesses stehen.

Wenn Teams stärker ergebnisorientiert arbeiten, basiert das Produkt eher auf Forschung und Experimenten als auf einem festen langfristigen Fahrplan. Laut Ruben ist es entscheidend, dass Unternehmen eine solche Arbeitsweise annehmen, da sie dadurch bessere Produkte und Geschäftsergebnisse erzielen können, was ihnen letztlich hilft, ihren Wettbewerbsvorteil zu bewahren.


Bleibe up to date in Sachen Customer Experience Optimization: Melde dich zu unserem Newsletter an. Jetzt anmelden!


Die Bedeutung von funktionsübergreifenden Teams

Ruben vertritt die Ansicht, dass das Experimentieren insofern reift, als dass es immer stärker in die Produktteams integriert wird.

Er stellt fest, dass der Trend zur Zusammenarbeit verschiedener Teams zunimmt. Nach Rubens Ansicht ist das für den Wissensaustausch wichtig, wenn es darum geht, Neues über die Customer Journey und das Produkt selbst zu lernen. Für Ruben schafft dies eine ideale, gesunde Experimentierumgebung, in der Teams besser experimentieren und die gewünschten Ergebnisse erzielen können.

Im Idealfall gibt es Experten für Experimente, die aus verschiedenen Teams kommen und regelmäßig Wissen, Ideen und Erkenntnisse austauschen. Das trägt zu Inspiration und Innovation bezüglich zukünftiger Testideen bei.

Das Erfolgsrezept dieser Experimentierteams ist unterschiedlich und hängt von der Reife des Experimentierprogramms und den Fähigkeiten dieser Teams ab.

Das könnte mit einem Blick auf die Unternehmenskultur beginnen, indem Fragebögen an verschiedene Teams verschickt werden, um deren Arbeitsabläufe und den Grad der Autonomie zu verstehen. Diese Analyse würde helfen zu verstehen, wie es um die Experimentierfreudigkeit bestellt ist, z. B. wie experimentierfreudig die Teams sind. Dies hilft bei der Ausarbeitung einer Strategie und eines Fahrplans für die erfolgreiche Implementierung einer Experimentierkultur in der gesamten Organisation.

Dieser Kultur-Scan hilft auch dabei, den Reifegrad eines Experimentierprogramms zu bestimmen.

„Prozess, Daten, Team, Umfang, Ausrichtung und Unternehmenskultur: Das ist es, was ich im Allgemeinen betrachte, wenn ich den Reifegrad einer Organisation bewerte. Gibt es in den verschiedenen Produktteams einen CRO-Spezialisten? Wie wird die Entscheidungsfindung von den Führungskräften durchgeführt? Basiert sie auf den HIPPO-Entscheidungen oder beruht sie vollständig auf Experimenten? Dann gibt es da noch die Ergebnis- gegenüber der Output-Mentalität, den Umfang und die Ausrichtung der Experimente sowie die Struktur des Teams – ist es nur ein einzelner CRO-Spezialist oder ein multidisziplinäres Team? Wie sieht der Prozess aus? Handelt es sich nur um einen einzelnen CRO-Prozess oder um einen Prozess, der in ein Projektteam eingebettet ist?“ sagt Ruben.


Bleibe up to date in Sachen Customer Experience Optimization: Melde dich zu unserem Newsletter an. Jetzt anmelden!


Eine Welt voller Möglichkeiten mit KI

Ruben glaubt, dass es durch das Aufkommen der KI-Technologie eine Menge Möglichkeiten gibt, besonders im Hinblick auf Experimentierprozesse.

Er räumt ein, dass es noch zu früh ist, um darüber zu spekulieren, und dass es auch viele Bedenken hinsichtlich des Datenschutzes gibt, die mit der Nutzung einer solchen Technologie einhergehen. Aber er glaubt, dass die KI in Zukunft viele spannende Dinge hervorbringen kann.

„Es wäre großartig, eine KI zu haben, die alle Experimente auf der Produktdetailseite, mit allen Ergebnissen und Erkenntnissen, durchgeht und der man einfach die Frage stellen kann: ‚Was habe ich eigentlich daraus gelernt und welche Anschluss-Experimente wären sinnvoll?‘ Es wäre unglaublich spannend, eine KI durch alle Experimente in der Datenbank laufen zu lassen“, sagt Ruben.

Ruben räumt daher ein, dass es eine Reihe von Möglichkeiten gibt, was Teams tun können, wenn es darum geht, Experimente effektiv zu planen und Zeit und Schritte im Experimentierprozess zu sparen.

„Und stell dir vor, dass in drei oder vier Jahren jeder eine KI-App auf seinem Handy hat und sagt: ‚Ich muss das kaufen‘, und die App erledigt den Kauf. Und vielleicht gibt es dann eine Website, die nur für KI-Apps zum Einkaufen gedacht ist – wer weiß? Und dann wird die Optimierung plötzlich ganz anders aussehen.“

Es gibt auch ein erhebliches Potenzial für KI, wenn es darum geht, die Arbeitsweise der Menschen zu verändern, Inspirationen zu liefern und letztendlich den Experimentierprozess zu optimieren und Innovationen zu fördern.

„Vielleicht können wir auf Basis aller Eingaben, die wir aus Chatprotokollen, Social-Media-Kanälen, Bewertungen und Umfragen machen, die KI irgendwann so gestalten, dass sie sich wie ein Nutzer verhält. Dann müssten keine Nutzertests mehr durchgeführt werden, da die KI einfach selbst die Website analysieren könnte.“

Was kannst du noch aus unserem Gespräch mit Ruben de Boer lernen?

  • Welche Trends sich im Hinblick aufs Experimentieren entwickeln
  • Seine Auffassung von Change Management, um Organisationen bei der Einführung von Experimenten zu unterstützen
  • Seine eigenen Erfahrungen mit dem Aufbau funktionsübergreifender Teams
  • Wie man mit Widerständen gegenüber Experimenten umgeht
Über Ruben de Boer

Ruben ist mit über 14 Jahren Erfahrung leitender CRO-Manager und Berater für Daten und Optimierung. Er ist zweifacher Gewinner der Experimentation Elite Awards 2023 und ein Bestseller-Dozent auf Udemy mit über 12.000 Studenten. Er ist auch ein öffentlicher Redner zu Themen wie Experimentierkultur, Change Management, Conversion Rate Optimization und persönliches Wachstum. Heute ist Ruben als Lead Conversion Manager verantwortlich für die Leitung des Conversion Manager Teams, die Entwicklung der Fähigkeiten und der Qualität des Teams, die Festlegung der Teamstrategie und der Ziele sowie die Geschäftsentwicklung.

Über den 1,000 Experiments Club

Der 1,000 Experiments Club ist ein von AB Tasty produzierter Podcast, der von Marylin Montoya, VP of Marketing bei AB Tasty, moderiert wird. Begleite Marylin und das Marketing-Team, wenn sie sich mit den erfahrensten Experten in der Welt des Experimentierens zusammensetzen, um Erkenntnisse darüber zu sammeln, was nötig ist, um erfolgreiche Experimente zu entwickeln und durchzuführen.

Kennst du diese Folge schon?

Wenn nicht, wirf doch gerne direkt einen Blick in unseren letzten Artikel zur Podcast-Episode mit David Mannheim, mit dem wir über einen neuen Ansatz zur Personalisierung gesprochen haben.

Abonniere
unseren Newsletter

bloc Newsletter DE

Wir verarbeiten und speichern deine persönlichen Daten, um deine Anfrage zu beantworten. Siehe dir unsere Datenschutzerklärung an.

Blogartikel

6min. Lesezeit

Wie man Disruption bei Experimenten ausnutzen kann | Ben Labay

Ben Labay skizziert wesentliche Rahmenbedingungen für einen strategischeren, taktischeren und disruptiveren Ansatz beim Experimentieren

Mit zwei Abschlüssen in Evolutionary Behavior und Conservation Research Science verbrachte Ben Labay ein Jahrzehnt in der akademischen Welt mit einem breit gefächerten Hintergrund in Forschung und Experimenten, geprägt von der Arbeit mit technischen Daten.

Heute ist er CEO der Experimentier- und Conversion-Optimization-Agentur Speero. Ben beschreibt seine Arbeit im Bereich Experimentieren als seine „Geek-Out“-Area, d. h. Forschung im Bereich Customer Experience und Umgang mit Kundendaten.

Bei Speero arbeitet Ben daran, Forschungs- und Testprogrammstrategien für Unternehmen wie Procter & Gamble, ADP, Codecademy, MongoDB, Toast und viele andere auf der ganzen Welt zu entwickeln und zu implementieren.

Marylin Montoya, VP Marketing von AB Tasty, sprach mit Ben darüber, wie man Mechanismen für Unternehmen schaffen kann, um nicht nur zu optimieren, sondern auch disruptiver zu sein, wenn es um Webexperimente zur Förderung des Wachstums geht.

Hier sind einige der wichtigsten Erkenntnisse aus ihrem Gespräch.

Erwäge ein Portfoliomanagement beim Experimentieren

Inspiriert durch das Buch „Built to Last“ von Jim Collins und Jerry I. Porras erörtert Ben ein Framework, welches das Buch für das Wachstum eines Unternehmens auf der Grundlage der besten Praktiken von 18 erfolgreichen Unternehmen bietet.

Er identifiziert eine große Säule, die viele Unternehmen oft vernachlässigen: das Experimentieren. Um das in Angriff zu nehmen, schlägt Ben ein Portfoliomanagement für Experimente vor, das aus drei Portfolio-Tags besteht, die ein Lösungsspektrum für iterative Änderungen zur Optimierung bieten.

Die erste Stufe besteht darin, auf der Grundlage von Kundenfeedback kleine Verbesserungen oder Änderungen an einer Website vorzunehmen, wie z. B. die Verbesserung des Layouts. Die zweite Stufe umfasst umfangreichere Änderungen, wie z. B. neue Inhalte.

Aber es gibt noch eine dritte, größere Ebene, die Ben als „disruptiv“ und „innovativ“ bezeichnet, wie z. B. ein brandneues Produkt oder Preismodell. Dinge, die eine enorme Lernerfahrung darstellen können.

Da es drei verschiedene Stufen der Veränderung gibt, ist es wichtig, dass die Zeit, die für jede Stufe aufgewendet wird, klar aufgeteilt wird und dass sich deine Teams untereinander abstimmen.

Um es mit den Worten von Ben zu sagen: „Lasst uns 20 % unserer Energie in die Iteration stecken, 20 % in das Wesentliche und 20/30 oder 40 % in das Disruptive. Und diese Karte – dieses Framework – hat sich als wirklich gesundes Werkzeug erwiesen, um die Teams auf dieselbe Seite zu bringen.“

Für Ben ist die Anwendung eines solchen Frameworks der Schlüssel, um alle Teams auf die gleiche Seite zu bringen, da es dazu beiträgt, dass Unternehmen nicht zu wenig Ressourcen für disruptive und „Big Need Movers“ bereitstellen. Das Arbeitstempo ist neben der Qualität der Idee wichtig, argumentiert er.


Bleibe up to date in Sachen Customer Experience Optimization: Melde dich zu unserem Newsletter an. Jetzt anmelden!


Lass dich von deinem Baumdiagramm leiten

Jeder A/B-Test oder jede Personalisierungskampagne muss mit guten Zutaten gefüttert werden, die die Qualität der Hypothese bestimmen.

„Jede Agentur, jedes interne Unternehmen recherchiert. Wir betreiben Forschung. Wir sammeln Daten, wir haben Informationen, wir bekommen Einblicke, und dann wird auf Basis dieser Einblicke getestet. Aber da kann man nicht aufhören.“ sagt Ben.

Der Trick besteht darin, nicht bei den Erkenntnissen stehen zu bleiben, sondern auf der Grundlage dieser Erkenntnisse ein Thema zu entwickeln. Auf diese Weise können die Unternehmen die zugrunde liegenden Stärken und Schwächen herausfinden und sie in ihren OKRs abbilden.

Du kannst z. B. eine Reihe von Erkenntnissen haben, wie bspw. dass eine Seite unterdurchschnittlich abschneidet, dass die Nutzer über die Preisgestaltung verwirrt sind oder dass Social Proof übersprungen wird. Der Schlüssel liegt in der Durchführung einer thematischen Analyse und der Suche nach Mustern auf der Grundlage dieser verschiedenen Erkenntnisse.

Folglich ist es für Unternehmen wichtig, ein Baumdiagramm zu erstellen, um zu verstehen, wie die Dinge kaskadenartig abwärts laufen. Das ist wichtig, um taktischer und SMARTer in Bezug auf Ziele zu werden und um OKRs entsprechend festzulegen, um die riesige Menge an Daten zu organisieren und sinnvoll zu nutzen.

Wenn es an der Zeit ist, ein Testprogramm aufzustellen, verfügen die Teams über einen strategischen Testfahrplan für ein bestimmtes Thema, der mit diesen OKRs verknüpft ist. Das hilft dabei, die Metriken in besser umsetzbare Frameworks umzuwandeln.

Am Ende eines jeden Quartals können die Unternehmen ihre Leistung auf der Grundlage dieser Scorecard mit Kennzahlen bewerten und feststellen, wie sich die im Quartal durchgeführten Tests auf diese Kennzahlen ausgewirkt haben.

Integriere Engagement und Effizienz in deine Testprogrammstrategie

Der Hauptnutzen des Testens konzentriert sich auf die Erzielung von Gewinn, aber Ben plädiert für einen zweiten Nutzwert, der sich um die Arbeitsweise des Unternehmens dreht. Dies erfordert eine Verlagerung des Schwerpunkts auf die Effizienz und die Art und Weise, wie verschiedene Teams in einem Unternehmen zusammenarbeiten.

Ben zieht Parallelen zwischen der A/B-Testing-Branche und Devops, da sie versucht, Elemente der DevOps-Kulturbewegung einzubringen, wenn wir uns auf eine Kultur des Experimentierens und der Datenorientierung beziehen. In vielerlei Hinsicht spiegelt dies die DevOps-Methodik wider, die sich darauf konzentriert, Silos zwischen Entwicklungs- und Betriebsteams aufzubrechen, um die Zusammenarbeit und Effizienz zwischen diesen Teams zu verbessern. „Die ganze Idee ist, die Effizienz eines großen Teams, das zusammenarbeitet, zu optimieren“, sagt Ben.

Das bedeutet, dass Unternehmen ihr Testprogramm und die Komponenten, aus denen das Programm besteht, genau unter die Lupe nehmen sollten, wozu auch gehört, dass die richtigen Leute dahinter stehen. Es geht auch darum, kundenorientierter zu werden und Misserfolge in Kauf zu nehmen.

Ben bezeichnet dies als die „programmatische Seite“ des Programms, die als Rahmen oder Blaupause für die Entscheidungsfindung dient. Sie hilft bei der Beantwortung von Fragen wie „Wie organisiere ich meine Teamstruktur?“ oder „Wie sieht mein Besprechungsrhythmus mit dem Team aus?“


Bleibe up to date in Sachen Customer Experience Optimization: Melde dich zu unserem Newsletter an. Jetzt anmelden!


Letztlich geht es darum, deinen aktuellen Prozess zu ändern und in Frage zu stellen und deine Kultur intern zu verändern. Das funktioniert indem du dein Team dazu bringst, dein Programm und die Art und Weise, wie du Daten zur Entscheidungsfindung nutzt, zu testen.

Was kannst du aus unserem Gespräch mit Ben Labay noch lernen?

  • Wie man aus dem Trott des Testens herauskommt
  • Wie man Experimentation Meetings strukturiert, um Hindernisse zu beseitigen
  • Wie das Experimentieren mit der Spieltheorie zusammenhängt
  • Wie wichtig es ist, einen handlungsfähigen Rahmen für die Entscheidungsfindung anzunehmen 
Über Ben Labay

Ben Labay kombiniert eine jahrelange akademische und statistische Ausbildung mit Kundenerfahrung und UX-Wissen. Derzeit ist Ben der CEO von Speero. Mit zwei Abschlüssen in Evolutionary Behavior und Conservation Research Science (Ressourcenmanagement) begann Ben seine akademische Laufbahn als wissenschaftlicher Mitarbeiter an der University of Texas. Dort konzentrierte er sich auf Forschung und Datenmodellierung. Dies bildete die Grundlage für seine derzeitige Leidenschaft und Arbeit bei Speero, die sich darauf konzentriert, Unternehmen bei der Entscheidungsfindung anhand von Kundendaten zu unterstützen.

Über den 1,000 Experiments Club

Der 1,000 Experiments Club ist ein von AB Tasty produzierter Podcast, der von Marylin Montoya, VP of Marketing bei AB Tasty, moderiert wird. Begleite Marylin und das Marketing-Team, wenn sie sich mit den erfahrensten Experten in der Welt des Experimentierens zusammensetzen, um Erkenntnisse darüber zu sammeln, was nötig ist, um erfolgreiche Experimente zu entwickeln und durchzuführen.

Kennst du diese Folge schon?

1000-experiments-club-carlos-Gonzalez-de-Villaumbrosia-ab-tasty

Wenn nicht, wirf doch gerne direkt einen Blick in unseren letzten Artikel zur Podcast-Episode mit Carlos González de Villaumbrosia, mit dem wir über den Zweck, die Zugänglichkeit und die Umsetzung von Experimenten gesprochen haben.