Um einen Experimentierprozess in einem Unternehmen in Gang zu setzen, empfiehlt Lukas Vermeer, klein anzufangen und es (auch in Zukunft) einfach zu halten.
Diesen Rat nahm sich Lukas Vermeer zu Herzen, als er sich kopfüber in die Welt von KI und Machine Learning stürzte – zu einem Zeitpunkt, an dem diese neuen Technologien noch in den Kinderschuhen steckten und in der Branche kaum Nachfrage bestand. Als Consultant für diverse Unternehmen fand Lukas heraus, wie die ideale Arbeitsumgebung für ihn aussieht: ein Scale-up, in dem er seine Expertise in puncto Daten und Machine Learning einbringen könnte.
So kam Booking.com für Lukas ins Spiel. Lukas trat dem niederländischen Online-Unternehmen bei, als es sich in der Scale-up-Phase befand. Dort leitete Lukas 8 Jahre lang das Experimentation-Team, und vergrößerte das Team in dieser Zeit von 3 auf 30 Mitglieder.
Als das Experimentation-Team bei Booking.com ausgereift war, ließ sich Lukas 2021 auf ein neues Abenteuer als Director of Experimentation bei Vista ein. Er entwickelt und prägt die Experimentierkultur und nutzt das Potenzial der Unternehmensdaten, um Vista´s Einfluss als Branchenführer in Design- und Marketinglösungen für kleine Unternehmen zu stärken.
Lukas sprach mit Marilyn Montoya, VP Marketing von AB Tasty, über den Prozess und die Kultur des Experimentierens – von den Methoden bis hin zur Rolle der beteiligten Teams. Hier ein paar wichtige Erkenntnisse aus ihrem Gespräch.
Gehen Sie Experimentieren strategisch an
Es ist wichtig, den Zweck eines Experiments zu kennen. Lukas empfiehlt, den Fokus statt auf UI-Design, auf das Testen „großer“ Features zu legen, die wirkliche Veränderungen bewirken oder sich auf den Gewinn des Unternehmens auswirken können.
Fragen Sie sich, „Welche Fragen sind momentan von zentraler Bedeutung für meinen Business Case?“ oder „Welche wesentlichen Hypothesen stecken hinter meiner strategischen Planung?“. Statt die Anzahl Ihrer Experimente zu erhöhen, sollten Sie sich auf die korrekte Durchführung der wichtigeren Experimente konzentrieren.
Lukas empfiehlt die Flywheel-Methode, um eine Experimentierkultur in einem Unternehmen aufzubauen. Das erste Experiment sollte Aufmerksamkeit erregen, indem die Meinung des Unternehmens darüber, ob es funktioniert, 50/50 geteilt ist. Das zeigt, dass sich der Erfolg von Experimenten nicht leicht vorhersagen lässt und unterstreicht den „nicht quantifizierbaren Wert des Experimentierens“. Wir müssen anerkennen, dass es genauso wichtig ist, kein schlechtes Produkt zu liefern (was den Umsatz schmälern würde), wie sich strategisch zu überlegen, in was künftig investiert werden soll.
Strukturieren Sie Ihre Organisation für erfolgreiches Experimentieren
Die Struktur Ihres Unternehmens und Ihrer Teams wirkt sich darauf aus, wie nahtlos Experimente durchgeführt werden. Lukas empfiehlt, dass das Produktentwicklungsteam für sämtliche Experimente verantwortlich sein sollte.
Das Experimentierteam sollte die Experimente erleichtern, indem es dem Produktentwicklungsteam die Tools, Schulungen und Support zur Fehlerbehebung bereitstellt, damit dieses die Experimente dann selbständig durchführen kann.
ProduktmanagerInnen sollten für den Experimentierprozess geschult werden, z.B. durch das Erklären verschiedener Tests und Tools mit ihren jeweiligen Stärken und Schwächen, welche Annahmen diese jeweils treffen und wann sie angewendet werden sollen. So können Sie dann selbstständig ihre Ideen testen und anhand eines Portfolios von Experimentiermethoden eine Entscheidung treffen.
Allerdings fließt beim Experimentieren auch ein sozialer Aspekt ein, der nicht ignoriert werden sollte. Da die Interpretation und Analyse von Daten subjektiv ist, betont Lukas, wie wichtig es ist, Ergebnisse zu diskutieren und Feedback zur Optimierung eines Experimentierprozesses zu geben.
„Sinn und Zweck eines Experiments ist es, (…) eine Entscheidung zu treffen, die durch vorliegende Beweise bekräftigt werden kann“, sagt Lukas. So wie WissenschaftlerInnen ihre Paper vor der Veröffentlichung zur Peer-Review vorlegen, sollten auch wissenschaftlich durchgeführte Experimente denselben Richtlinien folgen, um die Hypothese, Methode, Ergebnisse und Diskussion im Reporting zu dokumentieren. (Eine Meinung, die auch von Jonny Longden, ebenfalls Podcast-Gast im 1,000 Experiments Club, vertreten wird.)
Die größte Gefahr für die Experimentierkultur: Leadership oder Roadmaps?
Wenn in der Produktentwicklung von „Roadmaps“ die Rede ist, handelt es sich laut Lukas genau genommen nicht um Roadmaps. Meistens stellt dies eher eine lineare Wunschliste mit Schritten, durch die das Ziel erreicht werden soll, dar. Das Problem ist, dass es selten alternative Routen oder Umleitungen gibt, wenn man vom ursprünglichen Plan abweicht.
Aufgrund des „Escalation of Commitment“ fällt es schwer, schon beim ersten fehlgeschlagenen Experiment den Kurs zu ändern, erklärt Lukas. Mit anderen Worten: Je mehr Zeit und Energie man in etwas investiert, desto schwieriger wird es, das Steuer herumzureißen.
Sollte in Zukunft also auf Roadmaps insgesamt verzichtet werden? Laut Lukas sollten Roadmaps einfach eine inhärente Ungewissheit mit einbeziehen. In der Produktentwicklung gibt es viele Unbekannte, die sich erst zeigen, wenn die Produkte fertiggestellt sind und den KundInnen angeboten werden. Deshalb funktioniert das Modell Build-Measure-Learn: Wir unternehmen ein paar Schritte und prüfen dann, ob wir uns in die richtige Richtung bewegen.
Lukas betont, dass das Ziel nicht sein sollte, „innerhalb von zwei Monaten ein fertiges Produkt zu liefern“. Vielmehr sollte man den Aspekt der Ungewissheit in die Deliverables integrieren und das Ziel entsprechend formulieren, z. B. prüfen, ob KundInnen in der gewünschten Weise reagieren.
Was können Sie noch aus unserem Gespräch mit Lukas Vermeer lernen?
- Wann man mit dem Experimentieren beginnen sollte und wie man eine Experimentierkultur aufbaut
- Wie wichtig Eigenständigkeit für Experimentation-Teams ist
- Die drei Ebenen des Experimentierens: Methode, Design, Durchführung
- Wie der Experimentierprozess beschleunigt werden kann
Über Lukas Vermeer
Lukas Vermeer ist ein Experte für die Implementierung und Skalierung von Experimenten und kommt aus dem Bereich KI und Machine Learning. Derzeit ist Lukas Director of Experimentation bei Vista. Davor war er acht Jahre lang für Booking.com tätig, zuerst als Informatiker, dann als Produktmanager und schließlich als Director of Experimentation. Als Experte bietet er nach wie vor Consulting Services für Unternehmen an, die mit der Implementierung von Experimenten beginnen. Sein jüngster, als Co-Autor veröffentlichter Artikel „It Takes a Flywheel to Fly: Kickstarting and Keeping the A/B Testing Momentum“ hilft Unternehmen, Experimente mit dem Flywheel „Investition zieht Wert nach, der wieder Investition nach sich zieht“ zu starten und zu beschleunigen.
Über den 1,000 Experiments Club
Der 1,000 Experiments Club ist ein von AB Tasty produzierter Podcast, der von Marylin Montoya, VP of Marketing bei AB Tasty, moderiert wird. Begleiten Sie Marylin und das Marketing-Team, wenn sie sich mit den erfahrensten ExpertInnen in der Welt des Experimentierens zusammensetzen, um ihre Erkenntnisse darüber zu enthüllen, was nötig ist, um erfolgreiche Experimente zu entwickeln und durchzuführen.
