Blogartikel

6min. Lesezeit

1,000 Experiments Club: Ein Gespräch mit Lukas Vermeer von Vista

Um einen Experimentierprozess in einem Unternehmen in Gang zu setzen, empfiehlt Lukas Vermeer, klein anzufangen und es (auch in Zukunft) einfach zu halten.

Diesen Rat nahm sich Lukas Vermeer zu Herzen, als er sich kopfüber in die Welt von KI und Machine Learning stürzte – zu einem Zeitpunkt, an dem diese neuen Technologien noch in den Kinderschuhen steckten und in der Branche kaum Nachfrage bestand. Als Consultant für diverse Unternehmen fand Lukas heraus, wie die ideale Arbeitsumgebung für ihn aussieht: ein Scale-up, in dem er seine Expertise in puncto Daten und Machine Learning einbringen könnte.

So kam Booking.com für Lukas ins Spiel. Lukas trat dem niederländischen Online-Unternehmen bei, als es sich in der Scale-up-Phase befand. Dort leitete Lukas 8 Jahre lang das Experimentation-Team, und vergrößerte das Team in dieser Zeit von 3 auf 30 Mitglieder.

Als das Experimentation-Team bei Booking.com ausgereift war, ließ sich Lukas 2021 auf ein neues Abenteuer als Director of Experimentation bei Vista ein. Er entwickelt und prägt die Experimentierkultur und nutzt das Potenzial der Unternehmensdaten, um Vista´s Einfluss als Branchenführer in Design- und Marketinglösungen für kleine Unternehmen zu stärken.

Lukas sprach mit Marilyn Montoya, VP Marketing von AB Tasty, über den Prozess und die Kultur des Experimentierens – von den Methoden bis hin zur Rolle der beteiligten Teams. Hier ein paar wichtige Erkenntnisse aus ihrem Gespräch.

 

 

Gehen Sie Experimentieren strategisch an

Es ist wichtig, den Zweck eines Experiments zu kennen. Lukas empfiehlt, den Fokus statt auf UI-Design, auf das Testen „großer“ Features zu legen, die wirkliche Veränderungen bewirken oder sich auf den Gewinn des Unternehmens auswirken können.

Fragen Sie sich, „Welche Fragen sind momentan von zentraler Bedeutung für meinen Business Case?“ oder „Welche wesentlichen Hypothesen stecken hinter meiner strategischen Planung?“. Statt die Anzahl Ihrer Experimente zu erhöhen, sollten Sie sich auf die korrekte Durchführung der wichtigeren Experimente konzentrieren.

Lukas empfiehlt die Flywheel-Methode, um eine Experimentierkultur in einem Unternehmen aufzubauen. Das erste Experiment sollte Aufmerksamkeit erregen, indem die Meinung des Unternehmens darüber, ob es funktioniert, 50/50 geteilt ist. Das zeigt, dass sich der Erfolg von Experimenten nicht leicht vorhersagen lässt und unterstreicht den „nicht quantifizierbaren Wert des Experimentierens“. Wir müssen anerkennen, dass es genauso wichtig ist, kein schlechtes Produkt zu liefern (was den Umsatz schmälern würde), wie sich strategisch zu überlegen, in was künftig investiert werden soll.

 

Strukturieren Sie Ihre Organisation für erfolgreiches Experimentieren

Die Struktur Ihres Unternehmens und Ihrer Teams wirkt sich darauf aus, wie nahtlos Experimente durchgeführt werden. Lukas empfiehlt, dass das Produktentwicklungsteam für sämtliche Experimente verantwortlich sein sollte.

Das Experimentierteam sollte die Experimente erleichtern, indem es dem Produktentwicklungsteam die Tools, Schulungen und Support zur Fehlerbehebung bereitstellt, damit dieses die Experimente dann selbständig durchführen kann.

ProduktmanagerInnen sollten für den Experimentierprozess geschult werden, z.B. durch das Erklären verschiedener Tests und Tools mit ihren jeweiligen Stärken und Schwächen, welche Annahmen diese jeweils treffen und wann sie angewendet werden sollen. So können Sie dann selbstständig ihre Ideen testen und anhand eines Portfolios von Experimentiermethoden eine Entscheidung treffen.

Allerdings fließt beim Experimentieren auch ein sozialer Aspekt ein, der nicht ignoriert werden sollte. Da die Interpretation und Analyse von Daten subjektiv ist, betont Lukas, wie wichtig es ist, Ergebnisse zu diskutieren und Feedback zur Optimierung eines Experimentierprozesses zu geben.

„Sinn und Zweck eines Experiments ist es, (…) eine Entscheidung zu treffen, die durch vorliegende Beweise bekräftigt werden kann“, sagt Lukas. So wie WissenschaftlerInnen ihre Paper vor der Veröffentlichung zur Peer-Review vorlegen, sollten auch wissenschaftlich durchgeführte Experimente denselben Richtlinien folgen, um die Hypothese, Methode, Ergebnisse und Diskussion im Reporting zu dokumentieren. (Eine Meinung, die auch von Jonny Longden, ebenfalls Podcast-Gast im 1,000 Experiments Club, vertreten wird.)

 

Die größte Gefahr für die Experimentierkultur: Leadership oder Roadmaps?

Wenn in der Produktentwicklung von „Roadmaps“ die Rede ist, handelt es sich laut Lukas genau genommen nicht um Roadmaps.  Meistens stellt dies eher eine lineare Wunschliste mit Schritten, durch die das Ziel erreicht werden soll, dar. Das Problem ist, dass es selten alternative Routen oder Umleitungen gibt, wenn man vom ursprünglichen Plan abweicht.

Aufgrund des „Escalation of Commitment“ fällt es schwer, schon beim ersten fehlgeschlagenen Experiment den Kurs zu ändern, erklärt Lukas. Mit anderen Worten: Je mehr Zeit und Energie man in etwas investiert, desto schwieriger wird es, das Steuer herumzureißen.

Sollte in Zukunft also auf Roadmaps insgesamt verzichtet werden? Laut Lukas sollten Roadmaps einfach eine inhärente Ungewissheit mit einbeziehen. In der Produktentwicklung gibt es viele Unbekannte, die sich erst zeigen, wenn die Produkte fertiggestellt sind und den KundInnen angeboten werden. Deshalb funktioniert das Modell Build-Measure-Learn: Wir unternehmen ein paar Schritte und prüfen dann, ob wir uns in die richtige Richtung bewegen.

Lukas betont, dass das Ziel nicht sein sollte, „innerhalb von zwei Monaten ein fertiges Produkt zu liefern“. Vielmehr sollte man den Aspekt der Ungewissheit in die Deliverables integrieren und das Ziel entsprechend formulieren, z. B. prüfen, ob KundInnen in der gewünschten Weise reagieren.

 

Gespräch mit Lukas Vermeer

  

Was können Sie noch aus unserem Gespräch mit Lukas Vermeer lernen?

  • Wann man mit dem Experimentieren beginnen sollte und wie man eine Experimentierkultur aufbaut
  • Wie wichtig Eigenständigkeit für Experimentation-Teams ist
  • Die drei Ebenen des Experimentierens: Methode, Design, Durchführung
  • Wie der Experimentierprozess beschleunigt werden kann

 

Über Lukas Vermeer

Lukas Vermeer ist ein Experte für die Implementierung und Skalierung von Experimenten und kommt aus dem Bereich KI und Machine Learning. Derzeit ist Lukas Director of Experimentation bei Vista. Davor war er acht Jahre lang für Booking.com tätig, zuerst als Informatiker, dann als Produktmanager und schließlich als Director of Experimentation. Als Experte bietet er nach wie vor Consulting Services für Unternehmen an, die mit der Implementierung von Experimenten beginnen. Sein jüngster, als Co-Autor veröffentlichter Artikel „It Takes a Flywheel to Fly: Kickstarting and Keeping the A/B Testing Momentum“ hilft Unternehmen, Experimente mit dem Flywheel „Investition zieht Wert nach, der wieder Investition nach sich zieht“ zu starten und zu beschleunigen.

Über den 1,000 Experiments Club

Der 1,000 Experiments Club ist ein von AB Tasty produzierter Podcast, der von Marylin Montoya, VP of Marketing bei AB Tasty, moderiert wird. Begleiten Sie Marylin und das Marketing-Team, wenn sie sich mit den erfahrensten ExpertInnen in der Welt des Experimentierens zusammensetzen, um ihre Erkenntnisse darüber zu enthüllen, was nötig ist, um erfolgreiche Experimente zu entwickeln und durchzuführen.

 

1000 Experiments Club

Das könnte dir auch gefallen...

Abonniere
unseren Newsletter

bloc Newsletter DE

Die Datenschutzerklärung von AB Tasty ist hier verfügbar.

Blogartikel

9min. Lesezeit

Ein Leitfaden für Usability & User Testing

In einer digitalen Welt, die hauptsächlich auf einen kundInnenorientierten Ansatz und auf datengesteuerte Technologien angewiesen ist, ist das Sammeln von Feedback, Gefühlen und Erfahrungen der BenutzerInnen der Schlüssel für die Entwicklung erfolgreicher Produkte. Seien es Apps, Websites, Produkte oder Dienstleistungen.

Um Produkte und Dienstleistungen zu entwickeln, die den Bedürfnissen der KundInnen wirklich entsprechen und um den Erwartungen der KundInnen zu entsprechen, verwenden effektive Unternehmen iterative Designprozesse, deren einziger Zweck es ist, die Benutzererfahrung ständig zu verbessern.

Beim Usability-Test geht es darum, Menschen zu fragen und zu prüfen, wie intuitiv und einfach ein Produkt verwendet werden kann.

Viele Leute gehen davon aus, dass Usability-Testing nur in der Entwurfsphase vor dem Launch durchgeführt werden.

Das ist total falsch.

Bei der Entwicklung eines iterativen Designprozesses müssen Sie in jeder Phase Ihres Produktlebenszyklus wiederholt User Tests durchführen.

Warum?

Hauptsächlich, weil Ihr Produkt mehrere neue Versionen, Funktionen und Services durchläuft, für die alle User Tests erforderlich sind, um die Annahmen zu überprüfen.

Da digitale MarketingexpertInnen und UX ForscherInnen seit langem die Methoden und Prozesse erforscht haben, um Erkenntnisse über die NutzerInnen zu gewinnen, haben sich in den letzten Jahren viele verschiedene Testmöglichkeiten für die Benutzerfreundlichkeit ergeben.

Was genau ist Usability Testing?

Usability Testing und User Tests

Usability-Tests sind Prozesse, mit denen BenutzerInnen beobachtet werden, während sie ein Produkt verwenden, um die Verwendbarkeit und Benutzerfreundlichkeit zu messen, um entsprechende Marketingziele zu erreichen.

Moderiert oder nicht: Ihre Usability-Tests dienen dazu, die Erkenntnisse der BenutzerInnen zu sammeln, um eine effiziente Benutzererfahrung zu entwickeln und ein insgesamt besseres Produkt zu entwerfen.

Usability-Tests werden verwendet, um sich mit Annahmen auseinanderzusetzen, bevor ein neues Produkt eingeführt oder ein neues Feature veröffentlicht wird.

Sie sind auch nützlich, um die Effizienz eines Produkts in seiner aktuellen Version zu messen, um mögliche Probleme zu identifizieren und sie somit zu lösen.

Ihre Ziele hinter Usability Testing

Weil Entwicklungs- und Marketingteams oft mit engen Terminen und Führungsdruck fertig werden müssen, kann die Versuchung, eine Usability-Testphase zu überspringen, stark sein.

Aber das könnte Sie eine Menge kosten.

Tatsächlich sollten Usability-Tests von Anfang an in Ihre Produktentwicklungs-Roadmap aufgenommen werden.

Auf diese Weise haben Sie Zeit, um geeignete Benutzertests durchzuführen.

Warum ist Usability Testing so wichtig?

Als Produktentwickler ist es Ihre Aufgabe, ein Produkt oder eine Dienstleistung zu bieten, die:

  • effizient
  • benutzerfreundlich
  • profitabel

ist.

Um diese drei Ziele zu erreichen ist es Ihr Ziel, so viel Feedback wie möglich zu erhalten bevor Sie das Produkt oder Feature tatsächlich auf den Markt bringen.

Vor diesem Hintergrund müssen Ihre User Tests aussagekräftige Erkenntnisse liefern, die schließlich zu Produktaktualisierungen führen.

Beachten Sie: die Ziele hinter Usability Testing unterscheiden sich von einem Produkt zum nächsten.

Hier sind jedoch einige wichtige Ziele, die mit User Tests verfolgt werden können, unabhängig von dem Produkt des Unternehmens.

  1. Nutzen die Leute gerne Ihr Produkt?
  2. Können BenutzerInnen vordefinierte Aufgaben erfolgreich ausführen?
  3. Entspricht das Produkt den Erwartungen Ihres Hauptziels?
  4. Wie einfach ist Ihr Produkt zu benutzen?
  5. Sind die User mit dem Interface, den Farben und Formen zufrieden?

Nun, da wir uns mit den allgemeinen Aspekten von Usability-Tests befasst haben, wollen wir uns die verschiedenen Arten von Usability-Tests, die Sie implementieren können, genauer ansehen, um ein besseres Produkt zu entwickeln.

Moderierte & Unmoderierte User Tests

a) Moderierte User Tests

Was sind moderierte User Tests?

Moderiertes User Testing besteht aus verschiedenen Tests, die in Anwesenheit eines Moderators oder einer Moderatorin durchgeführt werden.

Diese ModeratorInnen werden die TeilnehmerInnen leiten, ihre Fragen beantworten und nützliches Feedback sammeln.

Obwohl ModeratorInnen das Live-Erlebnis stören könnten, sind moderierte Tests hilfreich, um präzise Fragen zu bestimmten Zeitpunkten zu stellen und gezieltes Feedback auf der Grundlage von Annahmen zu sammeln.

Diese Tests sind eine großartige Gelegenheit für Unternehmen, diejenigen Prototypen zu entwickeln, die in den frühen Entwicklungsphasen umfangreiches Feedback erfordern.

Mit moderierten Tests können Sie umsetzbare Erkenntnisse gewinnen, die Ihrem Unternehmen wertvolle Zeit und Geld sparen, die sonst für einen teuren ineffizienten Prototyp aufgewendet worden wären.

Takeaway: Moderierte User Tests sind speziell auf Produkte und Dienstleistungen der frühen Phase abgestimmt, da ModeratorInnen die TeilnehmerInnen durch den Prozess führen können. Seien Sie jedoch vorsichtig, damit Ihre Moderatoren und Moderatorinnen den Usern nicht schon vorab sagen, was sie tun sollen: die User Experience muss natürlich bleiben.

Gut zu wissen: moderierte User Tests können entweder aus der Entfernung (Remote) durchgeführt werden oder in Anwesenheit der TeilnehmerInnen.

Wenn Sie die User extra zu Ihnen kommen lassen oder umgekehrt, kostet dies natürlich mehr als Online-Tests.

Obwohl beide Arten von Tests möglich sind, generieren Sie während eines echten Live-Tests in der Regel mehr Reaktionen von den TeilnehmerInnen als ein Remote-Test.

b) Unmoderierte User Tests

Wie der Name schon sagt, werden unmoderierte User Tests ohne jegliche Aufsicht Ihrerseits durchgeführt.

Im Allgemeinen werden diese Testtypen aus der Entfernung ohne ModeratorIn ausgeführt.

Diese Tests erfordern die Verwendung bestimmter Tools oder SaaS-Plattformen, um automatisch Erkenntnisse der BenutzerInnen zu sammeln und deren Interaktionen für eine verzögerte Analyse aufzuzeichnen.

Bei unkontrollierten Tests werden den BenutzerInnen vordefinierte Aufgaben zugewiesen und sie werden aufgefordert, ihre Gedanken und Probleme laut auszudrücken.

Mit dieser Lösung analysiert Ihr Unternehmen die Reaktionen der BenutzerInnen, die während der Tests aufgezeichnet wurden.

Takeaway: unmoderierte Tests sind definitiv günstiger und einfacherer zu implementieren. Lösungsanbieter wie User Testing können innerhalb von Stunden einsatzbereite Panels für Ihr Kernziel liefern, was im Vergleich zur manuellen Rekrutierung von TeilnehmerInnen äußerst praktisch ist.

Da Sie, abgesehen von der Erstellung und Überprüfung von Benutzertests, nicht involviert sind, können unmoderierte Tests auch gleichzeitig und in einem viel größeren Umfang durchgeführt werden.

Gut zu wissen: unmoderierte Tests ersetzen nicht zwingend moderierte Tests – sie ergänzen sich eher.

Da es keine Überwachung von Ihrer Seite gibt, wird dringend empfohlen, klare Richtlinien und Erwartungen zu formulieren, um Verwirrung unter den BenutzerInnen zu vermeiden.

Fokusgruppen

Fokusgruppe

Fokusgruppen sind spezifische Prozesse, bei denen ca. 10 TeilnehmerInnen eingeladen werden, ihre Bedürfnisse und Erwartungen an Ihr Produkt zu besprechen.

Diese Tests können sowohl vor als auch nach einer Produktveröffentlichung durchgeführt werden – abhängig von Ihren Zielen.

Im Gegensatz zu moderierten User Tests werden Fokusgruppen verwendet, um die Bedürfnisse, Erwartungen und Gefühle der TeilnehmerInnen bezüglich Ihres Produkts zu diskutieren, anstatt nur die Verwendbarkeit Ihres Designs zu bewerten.

Normalerweise erstellen ModeratorInnen eine Reihe von vordefinierten Fragen, die zu mehreren Diskussionen darüber führen, was die TeilnehmerInnen in Bezug auf Ihr Produkt oder bestimmte Funktionen fühlen.

Takeaway: Fokusgruppen sind nützlich, um Erkenntnisse über die potentiellen Bedürfnisse und Erwartungen Ihrer User zu sammeln. In Verbindung mit moderierten oder nicht moderierten User Tests werden sie aussagekräftiges Feedback liefern, das zum Erstellen neuer Funktionen oder zum Überdenken der Benutzeroberfläche genutzt werden kann.

Beta Tests & Umfragen

Auch wenn sie sich sehr von anderen User Tests unterscheiden, können Beta Tests äußerst nützlich sein, um Ihren Usability Testing Prozess mit einem eher quantitativen Ansatz zu versorgen.

Einfach ausgedrückt bestehen Beta Tests daraus, einer beschränkten Anzahl freiwilliger TeilnehmerInnen Zugang zu einem neuen Feature oder Produkt zu gewähren.

Da Beta Tests eine große Stichprobe erfordern, kann es für Unternehmen schwierig sein, eine ausreichende und repräsentative Anzahl von Beta-TesterInnen zu rekrutieren, damit der Test erfolgreich ist.

Beta Tests können jedoch zu einer unbezahlbaren Gelegenheit werden, um viele Usability-Probleme auf einmal zu entdecken, angereichert von einer Vielzahl von Meinungen, die von Hunderten oder Tausenden TeilnehmerInnen kommen.

Beta-Tests, die in der Videospielbranche besonders beliebt sind, können auch verwendet werden, um Ihr MVP (Minimum viable product) zu testen, bevor Ihr Endprodukt tatsächlich auf den Markt kommt.

Beta Tests und Umfragen

Mit demselben quantitativen Ansatz bieten Umfragen (online und offline) eine günstige, schnelle und verlässliche Möglichkeit, um Feedback zu Ihrem Produkt zu sammeln.

Damit Sie relevante Antworten auf Ihre Fragen erhalten, müssen Sie die richtige Zielgruppe ansprechen.

Umfragen sind nützlich, wenn es um einen quantitativen Vergleich geht.

Beispiel: Ihr Unternehmen entwickelt einen neuen Fashion Marketplace und zögert zwischen zwei Logos: Sie könnten Umfragebögen an Ihre Zielgruppe senden, in der diese zwischen den beiden Designs wählen können.

A/B Tests

Zugegeben, diese Tests sind ein bisschen anders – aber sie funktionieren wirklich.

Im Gegensatz zu den meisten anderen Tests, die wir erwähnt haben, werden A/B-Tests mit der aktuellen Version Ihres Produkts ausgeführt, um festzustellen, welche der beiden Designoptionen besser ist.

A/B Testing und User Tests

Beispiel: Sagen wir mal, Ihr Unternehmen führt eine E-Commerce Website und hat kürzlich ein neues Produktseiten-Layout erstellt. Ihr Team möchte sich nun für eines der beiden Layouts (Version A & B) entscheiden, ohne die Conversions zu beeinträchtigen: sie werden A/B Testing nutzen, um genau das herauszufinden und einen “Gewinner” aus den beiden Optionen auswählen.

A / B-Tests können bequem verwendet werden, um alle Arten von „Zielen“ abhängig von Ihrer Website oder Ihrem Produkt zu verfolgen. Dies ist äußerst praktisch, um Daten zu sammeln und die Verwendbarkeit und Benutzerfreundlichkeit Ihres aktuellen Produkts zu verbessern.

 

Hat Ihnen dieser Beitrag gefallen? Dann teilen Sie ihn gerne mit anderen und schauen Sie auch bei unseren weiteren Beiträgen zum Thema Website Optimierung, E-Commerce und Conversion Optimierung vorbei.

Das könnte dir auch gefallen...