Tests Multivariés (MVT)

Un test multivarié est un test qui permet de tester simultanément plusieurs versions de plusieurs variables. Le principe consiste à modifier plusieurs éléments simultanément sur une même page puis à identifier, parmi toutes les combinaisons possibles, laquelle a eu le plus d’impact sur les indicateurs suivis. Ces tests multivariés permettent notamment de tester le rôle des associations de variables, ce qui n’est pas le cas lors de la mise en place de tests A/B (ou A/B/C...) successifs.

Qu’est-ce qu’un test multivarié ?

Lors d’un test A/B, vous ne devez modifier qu’un seul élément à la fois (ex : le libellé d’un bouton d’action) pour être en mesure d’en déterminer l’impact. Si vous modifiez simultanément le libellé et la couleur de ce bouton (ex : bouton « Acheter » bleu vs bouton « En profiter » rouge) et constatez une amélioration, comment savoir qui du libellé ou de la couleur a réellement contribué à cette performance ? L’apport de l’un est peut-être négligeable ou les deux ont peut-être contribué à parts égales.
Un test multivarié vise à répondre à cette question. Vous pouvez ainsi modifier simultanément un titre et une image. Avec les tests multivariés, vous testez une hypothèse pour laquelle plusieurs variables sont modifiées et déterminez quelle est la meilleure combinaison parmi toutes celles possibles. Si vous modifiez deux variables et que chacune comporte trois déclinaisons, vous avez donc neuf combinaisons à départager (nombre de variantes de la première variable X nombre de déclinaisons de la seconde).

Tester deux positions et deux couleurs en même temps donnera quatre combinaisons différentes.

L’intérêt d’un test multivarié est triple :

  • Eviter d’avoir à mener de manière séquentielle plusieurs tests A/B et vous faire gagner du temps puisqu’on peut voir un test multivarié comme plusieurs tests A/B menés simultanément sur la même page,
  • Déterminer l’apport de chaque variable dans les gains mesurés,
  • Mesurer les effets d’interaction entre plusieurs éléments supposés indépendants (ex : titre de la page et visuel d’illustration).

Quelles sont les typologies de tests multivariés ?

Il existe 2 grandes méthodes pour mener des tests multivariés :

  • "Full Factorial” : il s’agit de la méthode à laquelle on fait généralement référence lorsqu’on parle de tests multivariés. Avec cette méthode, toutes les combinaisons de variables sont désignées et testées sur une part équivalente de votre trafic. Si vous testez 2 variantes pour un élément et 3 variantes pour un autre, chacune des 6 combinaisons sera donc affectée à 16,66 % de votre trafic.
  • "Fractional Factorial" : comme son nom le suggère, seule une fraction de toutes les combinaisons sont effectivement soumises à votre trafic. Le taux de conversion des combinaisons non testées est déduit de manière statistique en se basant sur celui de celles réellement testées. Cette méthode à l’inconvénient d’être moins précise mais de nécessiter moins de trafic.

Les limites des tests multivariés

La première limite concerne le volume de visiteurs à soumettre à votre test multivarié pour obtenir des résultats exploitables. En multipliant le nombre de variables et de déclinaisons testées via votre test multivarié, vous atteignez rapidement un nombre de combinaisons important. Mécaniquement l’échantillon affecté à chaque combinaison sera réduit.

Si pour un test A/B classique, vous attribuez 50 % de votre trafic à l’original et à la variation, vous n’allez attribuer que 5, 10 ou 15 % de votre trafic à chaque combinaison lors d’un test multivarié. Dans la pratique, cela se traduit bien souvent par des tests plus longs et une incapacité à atteindre la fiabilité statistique nécessaire à la prise de décisions. C’est d’autant plus vrai si vous testez des pages profondes au trafic plus faible, ce qui est souvent le cas si vous testez des tunnels de commandes ou des landing pages de campagnes d’acquisition de trafic.

La deuxième limite est liée à la façon dont le test multivarié est envisagé. Dans certains cas, il est le résultat d’un aveu de faiblesse : les utilisateurs ne savent pas précisément quoi tester et pensent qu’en testant plusieurs choses à la fois grâce à un test multivarié, ils trouveront forcément une piste à exploiter. On retrouve ainsi souvent de petites modifications à l’œuvre durant ces tests multivariés. L’A/B testing, à l’inverse, impose une plus grande rigueur et permet de mieux identifier ses hypothèses de tests, ce qui amène généralement à des tests plus créatifs, appuyés par des données, avec de meilleurs résultats.

La troisième limite est liée à la complexité. Mener un test A/B est bien plus simple qu’un test multivarié, surtout dans l’analyse des résultats. Vous n’avez pas besoin de vous imposer une gymnastique complexe de l’esprit pour essayer de comprendre pourquoi tel élément interagit positivement avec tel autre dans un cas et pas dans un autre. Garder un process simple et rapide à exécuter permet d’être plus confiant et de réitérer rapidement ses idées d’optimisation.

Vous cherchez à optimiser vos conversions ?

Un expert vous accompagne dans votre visite guidée de notre solution CRO All-in-One