Lors d’un test A/B, vous ne devez modifier qu’un seul élément à la fois (ex : le libellé d’un bouton d’action) pour être en mesure d’en déterminer l’impact. Si vous modifiez simultanément le libellé et la couleur de ce bouton (ex : bouton « Acheter » bleu vs bouton « En profiter » rouge) et constatez une amélioration, comment savoir qui du libellé ou de la couleur a réellement contribué à cette performance ? L’apport de l’un est peut-être négligeable ou les 2 ont peut-être contribué à parts égales.
Intérêts des tests multivariés
Un test multivarié vise à répondre à cette question. Avec ce type d’expérimentation, vous testez une hypothèse pour laquelle plusieurs variables sont modifiées et déterminez quelle est la meilleure combinaison parmi toutes celles possibles. Si vous modifiez 2 variables et que chacune comporte 3 déclinaisons, vous avez donc 9 combinaisons à départager (nombre de variantes de la première variable X nombre de déclinaisons de la seconde).
L’intérêt d’un test multivarié est triple :
- éviter d’avoir à mener de manière séquentielle plusieurs tests A/B et vous faire gagner du temps puisqu’on peut voir un test multivarié comme plusieurs tests A/B menés simultanément sur la même page,
- déterminer l’apport de chaque variable dans les gains mesurés,
- mesurer les effets d’interaction entre plusieurs éléments supposés indépendants (ex : titre de la page et visuel d’illustration).
Typologie de tests multivariés
Il existe 2 grandes méthodes pour mener des tests multivariés :
- « Full Factorial » : il s’agit de la méthode à laquelle on fait généralement référence lorsqu’on parle de tests multivariés. Avec cette méthode, toutes les combinaisons de variables sont designées et testées sur une part équivalente de votre trafic. Si vous testez 2 variantes pour un élément et 3 variantes pour un autre, chacune des 6 combinaisons sera donc affectée à 16,66 % de votre trafic.
- « Fractional Factorial » : comme son nom le suggère, seule une fraction de toutes les combinaisons est effectivement soumis à votre trafic. Le taux de conversion des combinaisons non testées est déduit de manière statistique en se basant sur celui de celles réellement testées. Cette méthode a l’inconvénient d’être moins précise mais de nécessiter moins de trafic.
Si les tests multivariés semblent être la panacée, il faut avoir conscience de plusieurs limites qui, dans la pratique, en réduisent l’attrait à des cas de figure spécifiques.
Limites des tests multivariés
La 1ère limite concerne le volume de visiteurs à soumettre à votre test pour obtenir des résultats exploitables. En multipliant le nombre de variables et de déclinaisons testées, vous atteignez rapidement un nombre de combinaisons important. Mécaniquement l’échantillon affecté à chaque combinaison sera réduit. Si pour un test A/B classique, vous attribuez 50 % de votre trafic à l’original et à la variation, vous n’allez attribuer que 5, 10 ou 15 % de votre trafic à chaque combinaison lors d’un test multivarié. Dans la pratique, cela se traduit bien souvent par des tests plus longs et une incapacité à atteindre la fiabilité statistique nécessaire à la prise de décision. C’est d’autant plus vrai si vous testez des pages profondes au trafic plus faible, ce qui est souvent le cas si vous testez des tunnels de commandes ou des landing pages de campagnes d’acquisition de trafic.
Le 2ème inconvénient est lié à la façon dont le test multivarié est envisagé. Dans certains cas, il est le résultat d’un aveu de faiblesse : les utilisateurs ne savent pas précisément quoi tester et pensent qu’en testant plusieurs choses à la fois, ils trouveront forcément une piste à exploiter. On retrouve ainsi souvent de petites modifications à l’œuvre durant ces tests. L’A/B testing, à l’inverse, impose une plus grande rigueur et de mieux identifier ses hypothèses de tests, ce qui amène généralement à des tests plus créatifs, appuyés par des données, avec de meilleurs résultats.
Le 3ème inconvénient est lié à la complexité. Mener un test A/B est bien plus simple, surtout dans l’analyse des résultats. Vous n’avez pas besoin de vous imposer une gymnastique complexe de l’esprit pour essayer de comprendre pourquoi tel élément interagit positivement avec tel autre dans un cas et pas dans un autre. Garder un process simple et rapide à exécuter permet d’être plus confiant et de réitérer rapidement ses idées d’optimisation.
Conclusion
Si sur le papier, les tests multivariés sont attirants, on ne peut que constater que mener des tests trop longtemps avec une forte incertitude sur l’obtention d’une fiabilité statistique représente un coût d’opportunité qui limite son intérêt. Pour obtenir des résultats exploitables et sur lesquels rapidement acter, mieux vaut s’en tenir à 90 % des cas à des tests A/B classiques (ou A/B/C/D). C’est d’ailleurs le ratio constaté parmi nos clients, y compris chez ceux ayant une audience de plusieurs centaines de milliers voire millions de visiteurs. Les 10 % restants sont plus réservés aux tests de « fine-tuning » quand vous avez êtes à l’aise avec la pratique du testing, avez obtenu des gains significatifs grâce à vos tests A/B et cherchez à dépasser certains seuils de conversion ou à gagner quelques incréments.
Enfin, il est toujours utile de rappeler que, plus que la typologie de tests (A/B vs multivariés), c’est bien la qualité de vos hypothèses – et par extension celle de votre travail de compréhension des problèmes de conversion – qui sera l’élément différenciateur permettant d’obtenir des up lifts et des résultats probants de votre activité de testing.
