Dit is mijn persoonlijke reactie op een onderzoek van ConversionXL en kennismaking met een onbevooroordeelde benchmark over de impact van testen op de site snelheid. Hierboven is een voorbeeld van wat je daar kunt vinden.

Rémi Aubert, CEO van AB Tasty.

Context

Op 18 mei plaatste digital agency OrangeValley in samenwerking met ConversionXL, een blog die schrijft over conversie percentage optimalisatie, een studie die gaat over de impact van A/B testen op de site snelheid.

Wetende dat we significante en voortdurende verbeteringen hebben gemaakt op de laadsnelheid om ervoor te zorgen dat we voldoen aan de hoogste verwachtingen van de markt, benaderde ik het artikel met groot enthousiasme. Man, was ik in voor een grote verrassing!

Om een lang verhaal kort te maken, de studie beweert dat de test tool van mijn bedrijf, AB Tasty, voor meer laadtijd zorgt dan die van onze concurrenten…!

Wetende dat onze klanten veel aandacht besteden aan de laadtijd van de pagina’s, is de impact van onze technologie op de laadsnelheid iets waar we veel moeite in moeten steken en wat we natuurlijk serieus moeten nemen. Ondanks de goede bedoelingen van OrangeValley en ConversionXL, gezien de impact van de studie op de industrie en de enorme hoeveelheid werk dat in het opbouwen en onderhouden van een enterprise-level conversie optimalisatie tool zit, voel ik mij verplicht om te reageren op de claims die worden geschreven in het artikel.

Waarom? In de afgelopen 4 jaar heb ik persoonlijk vergelijkende tests gedaan om ervoor te zorgen dat AB Tasty uitblinkt in prestaties en een top plaats verdient tussen ’s werelds beste A/B test platforms. Met mijn eigen resultaten in het achterhoofd, heb ik grote twijfels over de nauwkeurigheid van het onderzoek: de toegepaste methodologie ontbreekt aan samenhang en logica, effectief leidend tot gebrekkige resultaten. Laat me uitleggen wat ze verkeerd hebben gedaan en wat men moet doen om nauwkeurige resultaten van vergelijkende tests te krijgen.

Gebrek aan transparantie en instabiele testomgeving

Hoewel ConversionXL heeft geprobeerd de werkelijke omstandigheden van de proef te detailleren, is de verstrekte informatie onvoldoende transparant. Ze moeten de lezer verstrekken met:

  • Geteste pagina URL’s
  • Baseline pagina URL’s (niet getest) ter vergelijking. Zijn ze überhaupt gebruikt?
  • Real-time resultaten van third-party tools

Het onderzoek werd uitgevoerd in december, met slechts een zeer laag aantal (ongeveer 80) tests. Net als bij A/B testen, kun je geen conclusies trekken uit dergelijke getallen als het risico op valse positieven veel te hoog is.

Om het gebrek aan transparantie op te lossen, heb ik een testwebsite gestart waar je onpartijdige resultaten in real-time kunt vinden. Mijn methode is duidelijk gedetailleerd en alle informatie is beschikbaar voor verificatie. In aanvulling op de tools die ik meestal gebruik om sitesnelheid te benchmarken, heb ik ook de tool (SpeedCurve) geïmplementeerd die ConversionXL beweert te hebben gebruikt voor de studie.

Om meer dingen uit te vinden, kan je direct de website checken. Je zult verrast staan hoe verschillend de resultaten zijn!

Vergelijken van appels met peren

SiteSpect, die als 1e werd gerankt in het onderzoek, is een server-side (of DNS-side) technologie, terwijl elk andere tool in de vergelijking is gebaseerd op JavaScript. Gevolg is dus dat ConversionXL appels met peren vergelijkt. Dit is de eerste en misschien wel de meest veelzeggende aanwijzing waarom de vergelijking gebrekkig is –  de tools zijn te verschillend om te worden vergeleken met snelheid als het enige criterium..

Waarom? Snelheid heeft ook een prijs … Server-Side tools kiezen snelheid als eerst, waar alle andere kiezen voor zekerheid en veiligheid. Als een server-side tool down is, zijn de websites van de klanten ook down! Belachelijk, toch? Aan de andere kant, als AB Tasty (or een andere JavaScript gebaseerde provider die de CDN balancer gebruikt) down gaat, zullen de bezoekers worden toegewezen aan de oorspronkelijke pagina.

Traffic allocatie is belangrijk

Bovendien geeft het onderzoek geen verdere informatie over de allocatie van traffic. Is het een 50/50 split of is 100% van alle traffic toegewezen aan de variatie? We weten dat de test met AB Tasty is uitgevoerd met 100% van alle traffic naar een bepaalde variatie werd toegewezen. Dit terwijl het een kenmerk is dat een andere tool niet kan bieden, dus ze hebben dezelfde methode simpelweg niet kunnen testen. Hieruit blijkt duidelijk dat er verschillende regels zijn toegepast op verschillende tools.

Ervaren testers weten dat het laden van een variatie langer duurt dan het laden van een controlepagina. Hier is een voorbeeld; stel dat de laadtijden stabiel zijn: 1 seconde voor de originele pagina, 1.5 seconden voor de variatie:

Stel dat je 80 testen met 50%/50% uitvoert voor de verdeling. De gemiddelde laadtijd zou dan als volgt zijn:

(1*40 + 1.5*40) / 80 = 1.25s

Laten we nu eens zeggen dat je 100% van de traffic toewijst aan een variatie en 80 tests uitvoert. Dan zou de gemiddelde laadtijd 1.5 seconden zijn.

Er is hier totaal geen rekening mee gehouden!

Rekening houden met back-end laadtijd

Wanneer een webpagina laadt, wordt het eerste verzoek verwezen naar de server van de website, gevolgd door scripts van third-parties. De vertraging voor wanneer een script van een third-party wordt opgeroepen is duidelijk niet in de handen van een A/B test provider (mocht je hier problemen mee hebben, moet je waarschijnlijk kijken naar tag-management platforms).

ConversionXL heeft niet de back-end laadtijd van de calculatie afgehaald, ondanks dat het duidelijk is dat het effect heeft op de gemiddelde laadtijd. Back-end laden varieert in tijd en kan bijgevolg zijn in het verschillende presteren van de ene proef ten opzichte van de andere. Nogmaals, ConversionXL trekt uiteindelijk alleen conclusies die gebaseerd zijn op irrelevante informatie.

Dus hoe moet je de impact meten van test tools?

Mijn punt is hier niet om aan te tonen dat AB Tasty de beste laadtijd heeft (security, weet je nog?). Ik heb echter veel vertrouwen in de inspanningen van mijn team in het verbeteren van pagina snelheid en het verminderen van de onvermijdelijke gevolgen van A/B testen. Dat is waarom ik je een onbevooroordeelde manier geef om de A/B test tools te vergelijken – door jezelf.

Op deze website vind je:

  • Tests uitgevoerd op controleerbare pagina’s
  • Een baseline pagina
  • Google Webpage Speed resultaten in real-time
  • SpeedCurve resultaten in real-time
  • Pingdom resultaten in real-time

De testomgeving wordt hier volledig beschreven.

Ik hoop dat dit de zaken wat duidelijker maken. Happy testing!

Reacties? Dan kan je me persoonlijk bereiken op remi@abtasty.com.