Is multivariate testen nieuw voor jou? In dat geval raden we je aan om eerst het volgende artikel te lezen: Multivariate Testing: All you need to know about multivariate testing


Tijdens een A/B test kun je maar één onderdeel per keer aanpassen (bijvoorbeeld de tekst van een call-to-action button). Als je tegelijkertijd de button’s tekst en kleur aanpast (bijvoorbeeld, een blauwe “Koop nu” button vs. een rode “Schaf nu aan” button) en een verbetering ziet, hoe weet je dan welke tekst en welke kleur hier daadwerkelijk aan bijgedragen hebben? De contributie van één van de twee kan verwaarloosbaar zijn, of ze kunnen beide evenveel bijgedragen hebben.

De voordelen van multivariate tests

Een multivariate test heeft als doel om de bovenstaande vraag te beantwoorden. Met dit type experiment test je een hypothese waarvoor een aantal variabelen zijn gemodificeerd en je bepaalt daarna welke de beste combinatie vormt. Als je twee variabelen kunt veranderen waarvan elke drie opties heeft, heb je negen combinaties waaruit je kunt kiezen (het aantal varianten van de eerste variabele X het aantal mogelijkheden van de tweede).

Multivariate testen heef drie voordelen:

  • Vermijd het uitvoeren van verschillende A/B tests, dit bespaart je tijd aangezien we kunnen kijken naar een multivariate test als verschillende A/B tests die tegelijkertijd op dezelfde pagina worden uitgevoerd
  • Bepaal de bijdrage van iedere variabele door de gemete effecten
  • Meet de interactie-effecten tussen verschillende zogenaamde onafhankelijke onderdelen (bijvoorbeeld, paginatitel en visuele illustratie)

Typen multivariate tests

Er zijn twee voornaamste methoden voor het uitvoeren van multivariate tests:

  • Full Factorial“: dit is de methode waarnaar meestal verwezen wordt als multivariate testen. Met deze methode worden alle combinaties van variabelen ontwikkeld en getest op een gelijk gedeelte van jouw bezoekers. Als je twee varianten van één element test en drie varianten van een andere, zal elke van de zes combinaties  toegewezen worden aan 16,66% van jouw bezoekers.
  • Fractional Factorial“: zoals de naam al doet vermoeden, wordt maar een fractie van alle combinaties aan jouw bezoekers getoond. De conversieratio van niet-geteste combinaties wordt statistisch afgeleid op basis van combinaties die wel getest zijn. Deze methode heeft als nadeel dat het minder accuraat is, maar vereist wel minder bezoekers.

Ondanks dat het lijkt of multivariate testen een wondermiddel is, moet je je bewust zijn van een aantal beperkingen die in de praktijk de aantrekkelijkheid in bepaalde gevallen limiteren.

Beperkingen van multivariate tests

De eerste beperking heeft betrekking op het aantal bezoekers op wie jouw test zich moet richten om resultaten te verkrijgen. Door het aantal variabelen en mogelijkheden te vermenigvuldigen, kun je snel een grote hoeveelheid combinaties bereiken. De steekproef die wordt toegewezen aan iedere combinatie zal automatisch verminderd worden. Waar je bij een typische A/B test 50% van je bezoekers naar de originele website en 50% naar de variant hierop toestuurt, is het bij een multivariate test maar 5, 10 of 15% die naar iedere combinatie gestuurd wordt. In de praktijk resulteert dit vaak in langere tests en een onvermogen om de statistische betrouwbaarheid die nodig is voor het maken van een besluit te bereiken. Dit is vooral zo wanneer je diepere pagina’s met minder bezoekers test, wat vaak het geval is wanneer je checkout funnel of landing pagina’s test voor bezoekers acquisitie campagnes.

Het tweede nadeel is verwant aan de manier waarop de multivariate wordt beschouwd. In sommige gevallen is het een resultaat van het toestaan van een zwakke plek: gebruikers weten niet wat ze moeten testen en denken dat door het testen van verschillende dingen tegelijkertijd wel iets bruikbaars gevonden zal worden. We vinden vaak kleine modificaties die werken in deze tests. A/B testen, daarentegen, zorgt voor een betere identificatie van testhypotheses die over het algemeen leiden tot meer creatieve testen die ondersteund worden door data en met betere resultaten.

Het derde nadeel is gerelateerd aan de complexiteit. Het uitvoeren van een A/B test is veel eenvoudiger, vooral in de analyse van de resultaten. Je hoeft geen moeilijke hersengymnastiek uit te voeren om te begrijpen waarom elementen een positieve interactie hebben in het ene geval en in het andere niet. Een simpel en snel uit te voeren proces stelt jou in staat om zelfverzekerder te zijn en om jouw optimalisatie ideeën op een snelle manier te herhalen.

Conclusie

Waar multivariate tests op papier aantrekkelijk lijken, moet wel worden opgemerkt worden dat het te lang uitvoeren van tests, om alleen een zwakke statistische betrouwbaarheid verkrijgen, ze minder aantrekkelijk kunnen maken in bepaalde gevallen. Om bruikbare resultaten te verkrijgen die snel geïdentificeerd kunnen worden is het in 90% van de gevallen beter om het bij het traditionele A/B (of A/B/C/D) testen te houden. Dit is de ratio die onder onze klanten gebleken is, inclusief degenen met een aantal van honderden, duizenden of zelfs miljoenen bezoekers. Het is beter om de resterende 10% van de tests te reserveren om te finetunen wanneer je je comfortabel voelt met het testen, wanneer je een aanzienlijke hoeveelheid bereikt hebt door A/B tests en als je ernaar op zoek bent om een bepaalde conversiegrens te overtreffen.

Tot slot is het altijd handig om te onthouden dat, meer dan het type test (A/B vs. multivariate) het de kwaliteit van je hypotheses is die de bepalende factor kan zijn in het krijgen van boosts en overtuigende resultaten van jouw testactiviteiten