Multivariate Tests

Bei einem multivariaten Test werden gleichzeitig mehrere Versionen unterschiedlicher Variablen getestet. Damit wird es möglich, mehrere Elemente auf ein und derselben Seite gleichzeitig zu modifizieren und dann zu bestimmen, welche der möglichen Kombinationen sich am stärksten auf bestimmte, nachverfolgte Indikatoren auswirkt. So wird mit multivariaten Tests (MVT) die Auswertung verschiedener Variablen-Konstellationen möglich, was den üblicherweise sukzessive erfolgenden A/B-Tests (oder A/B/C-Tests usw.) nicht der Fall ist.

Was ist ein multivariater Test?

Während eines laufenden A/B-Tests können Sie immer nur ein Element zur selben Zeit modifizieren (z. B. die Beschriftung einer Schaltfläche) und die Auswirkungen messen. Würden Sie neben der Beschriftung auch noch die Farbe einer Schaltfläche verändern (sprich, eine blaue „Kaufen“- mit einer roten „Jetzt sparen“-Schaltfläche vergleichen) und eine Verbesserung feststellen, wüssten Sie nicht, ob diese auf die Farbe oder die Formulierung zurückzuführen ist. Möglicherweise hat eine der beiden Modifikationen kaum Auswirkungen – oder beide waren zu gleichen Teilen wichtig. Multivariate Tests liefern hier die passende Lösung. Mit ihnen wird es möglich, gleichzeitig Titel und Bilder zu verändern.

Bei multivariaten Tests prüfen Sie eine ganze Reihe veränderlicher Variablen und ermitteln dann, welche Kombination aus allen möglichen Lösungen die beste Leistung gebracht hat. Wenn Sie zwei Variablen auf je drei Arten modifizieren, ergibt das insgesamt neun Kombinationen (Anzahl der Varianten der ersten Variable X Anzahl der Varianten der zweiten).

MVT-Verfahren bieten drei zentrale Vorteile:

  • Vermeiden Sie sukzessive durchgeführte A/B-Tests und sparen Sie Zeit: Multivariate Tests sind im Prinzip diverse A/B-Tests, die zur selben Zeit auf ein und derselben Seite durchgeführt werden.
  • Bestimmen Sie die Auswirkung jeder Variable in den Bewertungsergebnissen.
  • Messen Sie die Auswirkungen, die Interaktionen zwischen verschiedenen, mutmaßlich unabhängigen Elementen haben (also z. B. Seiten-Titel und Illustrationen).

Welche Typen von multivariaten Tests gibt es?

Es gibt zwei Hauptmethoden zur Durchführung multivariater Tests: Vollfaktoriell” ”: Generell wird bei multivariaten Tests meist von dieser Methode ausgegangen. Hier werden alle möglichen Variablenkombinationen zu gleichen Traffic-Anteilen designt und getestet. Testen Sie also zwei Varianten eines Elements und drei Varianten eines anderen, entfallen auf jede einzelne der sechs Kombination 16,66 % Ihres Traffics. ”Teilfaktoriell” : Wie der Name schon sagt, wird nur ein Teil aller möglichen Kombinationen effektiv für Ihren Traffic getestet. Die Conversion-Rate nicht getesteter Kombinationen wird von den tatsächlich getesteten statistisch abgeleitet. Diese Methode ist weniger genau, erfordert aber auch weniger Traffic.

Grenzen von MVT-Verfahren

Für aussagekräftige Ergebnisse erfordern multivariate Tests hohe Besucherzahlen. Multipliziert man die Anzahl der Variablen und getesteten Versionen, erreicht man schnell zahlreiche Kombinationsmöglichkeiten. Dementsprechend klein fällt dann der Test-Anteil des Traffics aus, der jeder Kombination zugewiesen wird.

Bei einem konventionellen A/B-Test weisen Sie 50 % des Traffics der Originalversion im Tool und die andere Hälfte der neuen Variante zu. Bei einem multivariaten Test hingegen entfallen auf jede Kombination lediglich Anteile in einer Größenordnung zwischen 5 und 15 %. In der Praxis bedeutet dies häufig längere Tests. Zudem ist es schwieriger, die für eine Entscheidung erforderliche statistische Relevanz zu erreichen. Das ist insbesondere dann der Fall, wenn Sie tief innerhalb Ihrer Website angesiedelte Seiten testen, die nur noch wenig Traffic verzeichnen – also oft bei Bestelltrichtern oder Landing Pages für Ihre Kampagnen zur Traffic-Steigerung.

Eine weitere Einschränkung betrifft die Frage, wie multivariate Tests definiert werden. In gewissen Fällen werden multivariate Tests aus der Not heraus durchgeführt, weil die Benutzer einfach nicht genau wissen, was sie prüfen sollen. Indem dann mehrere Dinge gleichzeitig getestet werden, soll schließlich irgendeine praktikable Lösung gefunden werden. Die überprüften Unterschiede fallen in diesen Fällen meist sehr unbedeutend aus. A/B-Tests hingegen erfordern eine strengere Vorgehensweise und eignen sich so häufig besser zum Testen von Hypothesen. Durch die stärkere Einschränkung werden die Tests einfallsreicher und liefern datengestützte, bessere Ergebnisse.

Die dritte Einschränkung hängt mit Komplexität. zusammen. Oftmals ist es wirklich einfacher, einen A/B-Test durchzuführen, als einen multivariaten Test. Besonders, wenn es an die Ergebnisanalyse geht. Die Frage, warum ein bestimmtes Element im einen Fall auf positive Weise mit einem anderen interagiert und im anderen nicht, ist meist ohne große Anstrengung zu beantworten. Ein einfach zu handhabender Prozess verschafft Ihnen die Sicherheit, Optimierungsideen schnell zu testen und umzusetzen.

X