Die perfekte Kombination finden – darum geht es beim multivariaten Testen. Ein multivariater Test prüft gleichzeitig mehrere Kombinationen aus verschiedenen Variablen.
Die Idee ist, mehrere Elemente gleichzeitig auf derselben Seite zu ändern und dann herauszufinden, welche Kombination unter allen möglichen die größte Auswirkung auf die überwachten Indikatoren hat.
Multivariate Testing (MVT) hilft dabei, Zusammenhänge zwischen Variablen zu testen, was bei aufeinanderfolgenden A/B-Tests (oder A/B/C-Tests usw.) nicht der Fall ist. Im Gegensatz zum klassischen A/B-Test ermöglicht das multivariate Testen, zu verstehen, welche Kombination von Elementen am besten für deine Besucher und deren spezifische Bedürfnisse funktioniert. Klingt verlockend, oder? In diesem Leitfaden zum multivariaten Testen erfährst du alles, was du wissen musst, und kannst jede Kombination deiner Ideen ausprobieren.
Was ist ein multivariater Test?
Während eines A/B-Tests darfst du nur ein Element gleichzeitig ändern (zum Beispiel den Text eines Buttons), um die Auswirkungen messen zu können. Wenn du sowohl den Text als auch die Farbe des Buttons änderst (zum Beispiel einen blauen „Kaufen“-Button vs. einen roten „Nutze es aus“-Button) und eine Verbesserung feststellst, wie wirst du wissen, ob es die Änderung des Textes oder der Farbe war, die zur Leistung beigetragen hat? Der Effekt einer einzelnen Änderung könnte geringfügig sein oder sie könnten beide gleichwertigen Einfluss haben.
Das multivariate Testen bietet hier eine Lösung. Du kannst gleichzeitig einen Titel und ein Bild ändern. Mit multivariaten Tests testest du eine Hypothese, bei der mehrere Variablen verändert werden, und bestimmst, welche Kombination aus allen möglichen Lösungen am besten abgeschnitten hat. Wenn du 3 verschiedene Versionen von 2 spezifischen Variablen erstellst, hast du insgesamt neun Kombinationen (Anzahl der Varianten der ersten Variablen X Anzahl der Varianten der zweiten).
Weitere Artikel zu Multivariate Testing:
Die Geschichte des Multivariate Testing
Testmethoden wie das multivariate Testen (MVT) begannen bereits im 18. Jahrhundert. Skorbut war damals ein großes Problem. Ohne es zu wissen, führte ein Schiffsarzt der britischen Marine den allerersten multivariaten Test in der Geschichte durch, als er kranken Crewmitgliedern verschiedene Lösungen verabreichte und sie unter unterschiedlichen Bedingungen behandelte. Eine hohe Anzahl an Variablen, die er schließlich vergleichen konnte, um zu sehen, wie diese Variablen miteinander interagierten.
Dieses multivariate Testen ermöglichte es ihm, die Wirksamkeit jeder Kombination zu messen und die perfekte Behandlung für Skorbut herauszufinden: Zitrusfrüchte, frische Luft und viel Schlaf.
Welche Art von Website ist für MVT relevant?
Multivariate Testing kann jede Website verbessern, die ein Ziel verfolgt. Denn technisch gesehen kann der Weg, ein Ziel zu erreichen, immer verbessert werden. Und das gilt auch für jede Website. Einige Seiten zielen auf die Generierung von Leads ab, E-Commerce-Seiten auf Verkäufe. Medienseiten könnten beispielsweise von multivariaten Tests profitieren, indem sie redaktionelle Funktionen verbessern, nicht die Anzahl der Transaktionen.
Die meisten Websites führen multivariate Tests wie folgt durch:
- Testen verschiedener Kombinationen von Text und Farbe eines Call-to-Action-Buttons.
- Testen, wie Text und visuelle Elemente auf einer Webseite am effektivsten zusammenarbeiten.
Welche Arten von multivariaten Tests gibt es?
Es gibt 2 Hauptmethoden zur Durchführung multivariater Tests:
- “Full Factorial”: Dies ist die Methode, die normalerweise gemeint ist, wenn wir über multivariates Testen sprechen. Bei dieser Methode werden alle möglichen Kombinationen von Variablen erstellt und auf gleichmäßige Teile des Traffics getestet. Wenn du 2 Varianten eines Elements und 3 Varianten eines anderen testest, erhält jede der 6 Kombinationen 16,66 % deines Traffics.
- “Fractional Factorial”: Wie der Name schon sagt, wird hier nur ein Bruchteil der möglichen Kombinationen tatsächlich getestet. Die Conversion Rate der ungetesteten Kombinationen wird statistisch anhand der getesteten Kombinationen abgeleitet. Diese Methode ist weniger präzise, benötigt aber weniger Traffic.
Warum Multivariate Testing durchführen?
Die drei Vorteile des MVT:
- Vermeide aufeinanderfolgende A/B-Tests und spare Zeit, da multivariates Testen als Durchführung mehrerer A/B-Tests auf derselben Seite zur gleichen Zeit betrachtet werden kann.
- Bestimme die Auswirkungen jeder Variable auf die gemessenen Ergebnisse.
- Miss die Auswirkungen der Interaktionen zwischen verschiedenen Elementen, die als unabhängig angesehen werden (zum Beispiel Seitentitel und Illustrationsvisual).
Grenzen des Multivariate Testing
Die erste Einschränkung betrifft die Anzahl der Besucher, die erforderlich ist, damit die Ergebnisse Ihres multivariaten Tests signifikant sind. Wenn Sie die Anzahl der getesteten Variablen und Versionen in Ihrem multivariaten Test vervielfachen, erreichen Sie schnell eine große Anzahl von Kombinationen. Die für jede Kombination zugewiesene Stichprobe wird proportional reduziert.
Bei einem traditionellen A/B-Test würden Sie 50 % Ihres Traffics der Originalversion und den Rest der Variante zuweisen. Bei einem multivariaten Test weisen Sie nur 5 %, 10 % oder 15 % Ihres Traffics jeder Kombination zu. In der Praxis führt dies oft zu längeren Tests und einer Unfähigkeit, die statistische Signifikanz zu erreichen, die für eine Entscheidungsfindung erforderlich ist. Dies ist besonders der Fall, wenn Sie Seiten testen, die tief in Ihrer Website liegen und wenig Traffic haben, was häufig bei Trichterseiten oder Landing Pages für Ihre Traffic-Akquisitionskampagnen der Fall ist.
Die zweite Einschränkung hängt mit der Definition des multivariaten Tests zusammen. In einigen Fällen ist es das Ergebnis einer Schwächeanerkennung: Die Nutzer wissen nicht genau, was sie testen sollen, und denken, dass sie durch das Testen mehrerer Dinge gleichzeitig in einem multivariaten Test schließlich eine Lösung finden werden, von der sie profitieren können. Oft finden wir dann kleine Änderungen, die in diesen multivariaten Tests wirken. A/B-Tests hingegen erfordern große Strenge und helfen dabei, Testhypothesen besser zu identifizieren, was in der Regel zu kreativeren Tests führt, die durch Daten gestützt werden und bessere Ergebnisse liefern.
Die dritte Einschränkung betrifft die Komplexität. Ein A/B-Test ist oft einfacher durchzuführen als ein multivariater Test, insbesondere bei der Analyse der Ergebnisse. Sie müssen keine komplexen Gedankengymnastiken durchführen, um zu verstehen, warum ein bestimmtes Element in einem Fall positiv mit einem anderen interagiert, in einem anderen Fall jedoch nicht. Einen einfachen und schnellen Prozess aufrechtzuerhalten hilft, Vertrauen zu bewahren und Optimierungsideen schnell zu wiederholen.
Multivariate Test-Ideen und Hypothesen
Der Schlüssel zu einem erfolgreichen MVT-Ansatz ist eine starke Hypothese für jedes getestete Element. Diese Hypothese sollte später in den verschiedenen Testmodulen und Kombinationen deines Multivariate Testing umgesetzt werden.
Um eine starke MVT-Hypothese zu erstellen, musst du:
- Identifiziere klar die Frage, die du mit deinem MVT beantworten möchtest
- Aber Achtung: Eine Hypothese ist eine Aussage, keine Frage. Sie ist eine sehr klare, testbare Vorhersage darüber, was passiert, wenn bestimmte Änderungen an einer Website vorgenommen werden.
- Formuliere sie eindeutig und verknüpfe deine Vorhersage mit einem Problem, das erkennbare Ursachen hat.
- Nenne eine mögliche Lösung.
Weitere Artikel zur Erstellung von MVT-Testhypothesen:
Testgröße
Um eine MVT-Hypothese zu testen, benötigst du eine größere Stichprobengröße. Stell dir deinen multivariaten Test als mehrere parallele A/B-Tests vor und erhöhe entsprechend die Anzahl der getesteten Besucher.
Kurz gesagt: Ein guter multivariater Test erfordert genug Website-Traffic, um mehrere Varianten gleichzeitig zu testen. Daher sollte die erforderliche Stichprobengröße niemals dein vorhandenes Website-Traffic-Niveau überschreiten, es sei denn, du möchtest ewig auf valide Testergebnisse warten.
Was ist die ideale Dauer für meinen MVT?
Es gibt keine allgemeingültige Antwort auf diese Frage, aber um dir eine Vorstellung zu geben, hier eine einfache Berechnung: Angenommen, deine Website hat 30.000 Besucher am Tag und etwa 5 % der Besucher konvertieren, und du möchtest drei Variationen testen, dann sollte dein Test 11 Tage laufen. Wenn deine Website hingegen nur 5.000 Besucher am Tag hat und eine durchschnittliche Konversionsrate von 2 %, beträgt die erforderliche Anzahl getesteter Besucher pro Variation 78.039, was erfordert, dass dein Test 468 Tage läuft.
Wenn die durchschnittliche Besucherzahl sehr gering ist, ist ein multivariater Test möglicherweise nicht geeignet. Schau dir stattdessen A/B-Tests an! Außerdem findest du hier sechs Techniken, um mit Tests bei geringem Traffic zu beginnen.
Möchtest du wissen, wie wir diese Zahlen berechnet haben? Schau dir unseren kostenlosen Sample Size Calculator an!
Unser Online Sample Size Calculator hilft dir dabei, die minimale Stichprobengröße sowie die Dauer deiner Tests basierend auf deiner Zielgruppe, deinen Konversionen und anderen Informationen wie dem Minimum Detectable Effect zu berechnen. So kannst du dein Vertrauen in die Ergebnisse erhöhen, bevor du Entscheidungen zur Verbesserung deiner Konversionsrate triffst.
Tipps und Best Practices
Hier sind einige Tipps, die dir helfen, deine ersten multivariaten Tests einzurichten und häufige Fehler zu vermeiden.
1. Wähle ein starkes Testing-Tool
Multivariate Testing wird oft als sehr technisch angesehen, daher empfehlen wir ein Tool, das einfach zu bedienen ist. AB Tasty beispielsweise macht es Marketern leicht, ins multivariate Testen einzusteigen und wertvolle Kunden-Insights zu gewinnen, um die richtigen Entscheidungen zu treffen.
2. Stelle ein gutes Testing-Team zusammen
In einem starken CRO-Team sollten Aufgaben klar definiert und verteilt sein. Zum Beispiel könnte ein „Conversion Manager“ das Team leiten und für die Qualitätssicherung verantwortlich sein. Ein anderes Teammitglied könnte das Verhalten der Besucher und den Status quo analysieren. Ein Designer kümmert sich um ästhetische Änderungen auf der Website, und ein technischer Experte (JS und CSS Developer) sollte die Implementierung fortgeschrittener Tests übernehmen. Ein Data Scientist könnte am Ende die Ergebnisse auswerten. Eine Person kann auch mehrere Aufgaben übernehmen, wenn sie die nötigen Fähigkeiten und ausreichend Zeit hat.
3. Erstelle einen Plan und kläre den Zeitrahmen
Eine gute Struktur ist entscheidend. Bevor du multivariate Tests erstellst, definiere klar, welche Elemente getestet werden sollen, warum sie getestet werden und setze einen Zeitrahmen. Zu wissen, wann die MVT-Ergebnisse benötigt werden, hilft dir, effizienter zu arbeiten.
4. Setze Ziele und definiere Erfolg und Misserfolg
Setze jährliche Ziele, die jedes Jahr angepasst werden können, zum Beispiel die Anzahl der gestarteten Kampagnen. Quantitative Messungen sind einfach und präzise. Definiere klar, was einen Test erfolgreich macht. Beachte, dass auch ein fehlgeschlagener Test wertvoll ist, weil er zeigt, was nicht funktioniert und in Zukunft geändert werden muss.
5. Erstelle eine Wissensdatenbank
Halte die wichtigsten Erkenntnisse fest, speichere das Testing-Wissen in einer Datenbank und vermeide zukünftige Fehler. Einmal erworbenes Wissen sollte allen Teammitgliedern zur Verfügung stehen. Dies macht auch den Onboarding-Prozess neuer Teammitglieder effizienter.
6. Integriere alle notwendigen Dritten
Isolation am Arbeitsplatz ist ein echtes Problem. Dein CRO-Team sollte nicht isoliert arbeiten. Lass andere wissen, woran das CRO-Team arbeitet, und teile die Testergebnisse. Sei offen für neue Ideen und Input von außerhalb deines Teams!
7. Identifiziere und teste verschiedene Zielgruppensegmente
In deinen multivariaten Testkampagnen könntest du feststellen, dass wiederkehrende Besucher ein anderes Website-Design bevorzugen als neue Besucher. Innovative Tools wie AB Tasty erkennen und schlagen automatisch Besuchersegmentierungen vor.
Artikel zu Best Practices, die sich lohnen, gelesen zu werden:
- Grundlagen und Best Practices für multivariates Testing
- Multivariate Testing – Best Practices & Tools für MVT
- A/B, Split oder Multivariate Test: So findest du den richtigen für dich.
Beispiele
Suchst du nach Ideen für deine eigenen multivariaten Tests? Unten findest du einige Links zu Beispielen und Inspirationen für Tests:
Software für Multivariate Testing
Stelle sicher, dass du ein Tool verwendest, das tatsächlich die Probleme löst, die du angehen möchtest. Bei der Optimierung der Conversion Rates deiner Website sollte ein umfassender Optimierungsprozess mehr beinhalten als nur das Testen. Wähle daher ein Tool, das dir hilft, das Nutzerverhalten vollständig zu verstehen. Wir empfehlen AB Tasty, da es dir zahlreiche Informationsquellen bietet, die du nutzen kannst, um ein vollständiges Bild zu erhalten:
- Heatmaps
- Session Recording
- Kunden-Feedback
- Mehrere Zielkriterien und Nutzer-Segmentierung
Weitere Testmethoden
Es gibt weitaus mehr als nur Multivariate Testing. Hier ist eine Liste weiterer Testszenarien:
- A/B/n Testing: Vergleiche zwei oder mehr Varianten desselben Elements, um herauszufinden, welche am besten funktioniert.
- Split-Testing: Leite den Verkehr auf verschiedene URLs um. Ideal für neue Seiten, die auf deinen Servern gehostet werden.
- Multi-Page Testing: Führe konsistente Änderungen über mehrere Seiten hinweg durch (Funnel Testing), um den gesamten Nutzerpfad zu optimieren.
Sieh dir diesen Artikel an, um zu erfahren, wie du zwischen diesen verschiedenen Testmethoden wählen kannst.
Website-Optimierung beschränkt sich nicht nur auf Tests. Du kannst fortschrittliche Zielgruppensegmentierung und Personalisierung nutzen, um maßgeschneiderte Erlebnisse an jedem Kundenkontaktpunkt und darüber hinaus zu bieten.
