Multivariate Tests

Bei einem Multivariate-Test werden gleichzeitig mehrere Versionen unterschiedlicher Variablen getestet. Das können zum Beispiel Bilder, Überschriften oder Call to Actions sein. Damit ermöglicht der multivariate Test es, mehrere Elemente auf ein und derselben Seite gleichzeitig zu modifizieren und dann zu bestimmen, welche der möglichen Kombinationen sich am stärksten auf bestimmte, nachverfolgte Indikatoren auswirkt. So wird mit Multivariate-Tests (MVT) die Auswertung verschiedener Variablen-Konstellationen möglich, was bei den üblicherweise sukzessive erfolgenden AB Tests (oder A/B/C-Tests usw.) nicht der Fall ist.

Definition: Was ist ein Multivariate-Test?

Während eines laufenden AB Split-Tests können Sie immer nur ein Element zur selben Zeit modifizieren (z. B. die Beschriftung einer Schaltfläche) und die Auswirkungen messen. Würden Sie neben der Beschriftung auch noch die Farbe einer Schaltfläche verändern (sprich, eine blaue „Kaufen“- mit einer roten „Jetzt sparen“-Schaltfläche vergleichen) und eine Verbesserung feststellen, wüssten Sie nicht, ob diese auf die Farbe oder die Formulierung zurückzuführen ist. Möglicherweise hat eine der beiden Modifikationen kaum Auswirkungen – oder beide waren zu gleichen Teilen wichtig. Multivariate Tests liefern hier die passende Lösung. Mit ihnen wird es möglich, gleichzeitig Titel und Bilder zu verändern.

Bei multivariaten Tests prüfen Sie eine ganze Reihe veränderlicher Variablen und ermitteln dann, welche Kombination aus allen möglichen Lösungen die beste Leistung gebracht hat. Wenn Sie zwei Variablen auf je drei Arten modifizieren, ergibt das insgesamt neun Kombinationen (Anzahl der Varianten der ersten Variable X Anzahl der Varianten der zweiten).

MVT-Verfahren bieten drei zentrale Vorteile:

  • Vermeiden Sie sukzessive durchgeführte AB Tests und sparen Sie Zeit: Multivariate Tests sind im Prinzip diverse AB Tests, die zur selben Zeit auf ein und derselben Seite durchgeführt werden.
  • Bestimmen Sie die Auswirkung jeder Variable in den Bewertungsergebnissen.
  • Messen Sie die Auswirkungen, die Interaktionen zwischen verschiedenen, mutmaßlich unabhängigen Elementen haben (also z. B. Seiten-Titel und Illustrationen).

Welche Typen von Multivariate-Tests gibt es?

Es gibt zwei Hauptmethoden zur Durchführung multivariater Tests: “Vollfaktoriell”: Generell wird bei Multivariate-Tests meist von dieser Methode ausgegangen. Hier werden alle möglichen Variablenkombinationen zu gleichen Traffic-Anteilen designt und getestet. Testen Sie also zwei Varianten eines Elements und drei Varianten eines anderen, entfallen auf jede einzelne der sechs Kombination 16,66 % Ihres Traffics. ”Teilfaktoriell”: Wie der Name schon sagt, wird bei diesen Multivariate-Tests nur ein Teil aller möglichen Kombinationen effektiv für Ihren Traffic getestet. Die Conversion Rate nicht getesteter Kombinationen wird von den tatsächlich getesteten statistisch abgeleitet. Diese Methode ist weniger genau, erfordert aber auch weniger Traffic.

Grenzen von MVT Verfahren

Für aussagekräftige Ergebnisse erfordert Multivariate Testing hohe Besucherzahlen. Multipliziert man die Anzahl der Variablen und getesteten Versionen, erreicht man schnell zahlreiche Kombinationsmöglichkeiten. Dementsprechend klein fällt dann der Test-Anteil des Traffics aus, der jeder Kombination zugewiesen wird.

Bei einem konventionellen A/B Test weisen Sie 50 % des Traffics der Originalversion im Tool und die andere Hälfte der neuen Variante zu. Bei einem multivariaten Test hingegen entfallen auf jede Kombination lediglich Anteile in einer Größenordnung zwischen 5 und 15 %. In der Praxis bedeutet dies häufig längere Tests. Zudem ist es schwieriger, die für eine Entscheidung erforderliche statistische Relevanz zu erreichen. Das ist insbesondere dann der Fall, wenn Sie tief innerhalb Ihrer Website angesiedelte Seiten testen, die nur noch wenig Traffic verzeichnen – also oft bei Bestelltrichtern oder Landing Pages für Ihre Kampagnen zur Traffic-Steigerung.

Eine weitere Einschränkung betrifft die Frage, wie multivariate Tests definiert werden. In gewissen Fällen werden multivariate Tests aus der Not heraus durchgeführt, weil die Benutzer einfach nicht genau wissen, was sie prüfen sollen. Indem dann mehrere Dinge gleichzeitig getestet werden, soll schließlich irgendeine praktikable Lösung gefunden werden. Die überprüften Unterschiede fallen in diesen Fällen meist sehr unbedeutend aus. AB Testing hingegen erfordert eine strengere Vorgehensweise und eignet sich so häufig besser zum Testen von Hypothesen. Durch die stärkere Einschränkung werden die Tests einfallsreicher und liefern datengestützte, bessere Ergebnisse.

Die dritte Einschränkung hängt mit Komplexität. zusammen. Oftmals ist es wirklich einfacher, einen AB Test durchzuführen, als einen Multivariate Test. Besonders, wenn es an die Ergebnisanalyse geht. Die Frage, warum ein bestimmtes Element im einen Fall auf positive Weise mit einem anderen interagiert und im anderen nicht, ist meist ohne große Anstrengung zu beantworten. Ein einfach zu handhabender Prozess verschafft Ihnen die Sicherheit, Optimierungsideen schnell zu testen und umzusetzen.

X