Article

9min lecture

Le ROI de l’expérimentation

Lorsque vous entendez ‘A/B Testing’, pensez-vous immédiatement à un gain de revenus ? Une augmentation ? Un résultat en euros ?

Selon David Mannheim, PDG de l’agence Conversion Rate Optimization (CRO) User Conversion, c’est probablement le cas – et vous ne devriez pas. Voici pourquoi :

Malheureusement, ce n’est pas si simple.

L’expérimentation est plus qu’une simple stratégie rapide pour augmenter votre ROI.

Dans cet article, nous aborderons les raisons pour lesquelles nous expérimentons, les défis liés à l’évaluation du retour sur investissement (ROI), la hiérarchisation des priorités et de ce qu’est réellement l’expérimentation.

Pourquoi expérimenter ?

Techniquement parlant, l’expérimentation est réalisée pour confirmer ou infirmer une hypothèse. L’expérimentation vous fournit des informations précieuses sur les relations de cause à effet en déterminant le résultat d’un certain test lorsque différents facteurs sont manipulés dans un cadre contrôlé.

En d’autres termes, s’il n’y a pas d’expérimentation, il n’y a aucun moyen de réfuter une hypothèse et de réduire le risque de perdre des opportunités ou d’avoir un impact négatif sur les mesures.

L’expérimentation consiste à établir des priorités, à minimiser les risques et à tirer des enseignements des résultats. Les tests que vous choisissez d’implémenter doivent être élaborés en conséquence. Il ne s’agit pas nécessairement de prendre la « bonne » ou la « mauvaise » décision, l’expérimentation vous aide à prendre de meilleures décisions sur la base des données.

En termes visuels, l’expérimentation ressemble à quelque chose comme ceci :

ROI frustration backlog

Les expériences en ligne doivent être soigneusement conçues pour apprendre, atteindre un objectif spécifique et/ou mesurer un indicateur de performance clé qui peut ne pas avoir d’effet financier immédiat.

Cependant, bien trop souvent, ce sont les principales parties prenantes (ou HIPPO) qui décident des tests à mettre en œuvre en premier.

Leur principale préoccupation ? Le temps qu’il faudra pour constater une nette augmentation des revenus.

Cette tendance nous amène à la théorie suivante :

Le retour sur investissement de l’expérimentation est impossible à atteindre parce que le secteur est conditionné à penser que les tests A/B ne concernent que le gain.

Frustrations et défis des attentes de ROI

À ce stade, vous vous demandez peut-être ce qu’il y a de mal à attendre des tests A/B une augmentation des revenus. N’est-il pas normal d’attendre un retour sur investissement clair ?

C’est normal, mais le problème n’est pas aussi simple.

Nous avons été conditionnés à attendre une formule claire avec une solution nette et précise : « Nous avons investi X, nous devons obtenir Y. »

Il s’agit là d’un mythe trompeur du CRO qui fait obstacle.

Les parties prenantes en sont venues à croire, à tort, que chaque test qu’elles effectuent doit fonctionner de la sorte, ce qui a créé des attentes irréalistes en matière de retour sur investissement pour ceux qui pratiquent l’optimisation des conversions.

Comme vous pouvez l’imaginer, cette façon de penser est source de frustration pour ceux qui implémentent des tests en ligne.

Experiment backlog example

Ce que les gens négligent souvent, c’est la complexité du contexte dans lequel ils effectuent leurs tests d’expérimentation et évaluent leur ROI.

Il n’est pas toujours possible de mesurer avec précision tout ce qui se passe en ligne, ce qui rend pratiquement impossible l’attribution d’un chiffre exact.

Bien que l’identification de l’impact des expériences puisse être un véritable défi en raison de la complexité du contexte, il existe certains outils en ligne qui permettent de mesurer vos efforts de ROI aussi précisément que possible.

AB Tasty est un exemple d’outil d’A/B test qui vous permet de mettre rapidement en place des tests avec une implémentation low-code de changements front-end ou UX sur vos pages web, de recueillir des informations via un tableau de bord ROI et de déterminer quelle route augmentera vos revenus.

 

Outre la frustration qui découle du fait que l’on s’attend à ce que le ROI se concentre sur l’amélioration financière immédiate, trois des plus grands défis du ROI de l’expérimentation sont les prévisions, le travail avec des moyennes et les tests multiples en même temps.

Challenge #1: Les Prévisions

Le premier défi de l’évaluation du retour sur investissement de l’expérimentation est la prévision. Un grand nombre de facteurs influencent la capacité d’un analyste à prévoir avec précision l’augmentation des revenus d’un test donné :

  • Stratégie de trafic payant
  • Marketing en ligne et hors ligne
  • Newsletters
  • Offres
  • Bugs
  • Évolution du trafic des appareils
  • Saison
  • Ce que font vos concurrents
  • Facteurs sociétaux (Brexit)

En ce qui concerne l’estimation des revenus pour l’année suivante à partir d’une seule expérience, il est impossible de prévoir un chiffre exact. Il est seulement possible de prévoir une tendance du retour sur investissement ou une moyenne attendue.

Il n’est pas réaliste d’attendre une prédiction parfaitement exacte et précise pour chaque expérience que vous menez – le contexte de chaque expérimentation en ligne est trop complexe.

Challenge #2: Travailler avec les moyennes

Le problème suivant est que votre équipe CRO travaille avec des moyennesen fait, les moyennes des moyennes.

Supposons que vous ayez mené une excellente expérience sur un segment d’audience spécifique et que vous ayez constaté une forte augmentation du taux de conversion.

Si vous examinez ensuite votre taux de conversion global pour l’ensemble de votre site, il y a de fortes chances que cette augmentation soit engloutie dans les données moyennes.

Votre vague de revenus se sera réduite à une ondulation indétectable. Et c’est un problème majeur lorsqu’on essaie d’évaluer le taux de conversion global ou l’augmentation des revenus – il y a trop de facteurs externes pour obtenir une image précise.

Avec les moyennes, le résultat final est que vous déplacez une moyenne. Les moyennes rendent très difficile l’obtention d’une compréhension claire.

En moyenne, un client moyen, exposé à un test A/B moyen, aura une performance… moyenne.

Challenge #3: Les tests multiples

Le troisième défi des attentes en matière de ROI survient lorsque vous souhaitez mener plusieurs expériences en ligne en même temps et essayer d’agréger les résultats.

Là encore, il est tentant d’exécuter des équations mathématiques simples pour obtenir une réponse claire et nette pour votre gain, mais la réalité est plus compliquée que cela.

En regroupant plusieurs expériences et les résultats de chaque expérience, vous obtiendrez des résultats flous.

Cela fait du calcul du retour sur investissement de l’expérimentation un cauchemar pour ceux qui effectuent simultanément des tests. Garder les expériences et leurs résultats respectifs séparés est la meilleure pratique lorsque l’on effectue plusieurs tests.

Faut-il toujours donner la priorité aux revenus ?

La meilleure mentalité consiste-t-elle à privilégier les revenus ? Lorsque l’on prend du recul et que l’on y réfléchit, il n’est pas logique que les CRO managers s’attendent à ce que le gain de revenus, et uniquement le gain de revenus, soit le principal indicateur de réussite de l’ensemble de leur programme d’expérimentation.

Que se passerait-il si toutes les entreprises donnaient toujours la priorité aux revenus ?

Cela signifierait qu’il n’y aurait pas de retours gratuits pour un site e-commerce (les retours n’augmentent pas le gain !), pas de bonbons gratuits dans l’emballage de livraison (pensez à ASOS), les photos de produits les moins chères sur le site, etc.

Si vous deviez privilégier le gain immédiat de revenus (comme les parties prenantes veulent si souvent le faire dans un contexte d’expérimentation) les implications sont encore plus indésirables.

Prenons quelques exemples : vous offrirez le service clientèle le plus dérisoire pour réduire les coûts, vous pousserez sans cesse des offres d’achat immédiat, vous ferez des remises sur tout et vous oublierez toute initiative de fidélisation à la marque. Faut-il continuer ?

En bref, si l’on se concentre trop sur un gain de revenu immédiat et clairement mesurable, on cannibalise inévitablement l’expérience client. Et ceci, à son tour, diminuera vos revenus à long terme.

A quoi doivent servir les tests A/B ?

Une chose importante que les champions de l’expérimentation peuvent faire est de travailler avec des métriques binomiales.

Évitez le flou et une grande partie de la complexité en effectuant des tests qui visent à vous donner une réponse oui/non, noire ou blanche.

binomial metrics examples

De même, soyez extrêmement clair et délibéré avec votre hypothèse, et soyez avisé avec vos métriques secondaires : utilisez l’expérimentation pour éviter les pertes, minimiser les risques, etc.

Mais la meilleure chose que vous puissiez faire est peut-être de modifier vos attentes.

Au lieu de dire que l’expérimentation doit infailliblement conduire à un gain de revenu net, à chaque fois, vous pourriez commencer à dire que l’expérimentation nous permettra de prendre de meilleures décisions.

Good experimentation model

​​Ces meilleures décisions, combinées à tous les autres efforts déployés par l’entreprise, feront évoluer votre entreprise dans une meilleure direction, celle d’un gain de revenus.

La théorie du ROI de l’expérimentation

Dans cette optique, nous pouvons modifier légèrement la théorie initiale du ROI de l’expérimentation :

Le ROI de l’expérimentation est difficile à atteindre et doit être contextualisé pour les différentes parties prenantes et entreprises. Nous ne devrions pas nous éloigner complètement d’un mode de pensée basé sur le signe de l’euro, mais nous devrions lui enlever la priorité. « Le revenu d’abord » n’est pas la meilleure mentalité dans tous les cas – surtout dans des situations aussi complexes que le calcul du ROI des expérimentations.

Vous aimeriez aussi...

Abonnez-vous à
notre Newsletter

bloc Newsletter FR

La politique de confidentialité d'AB Tasty est disponible ici.

Article

7min lecture

1,000 Experiments Club: Une conversation avec André Morys de konversionsKRAFT

André Morys partage la clé du succès pour une entreprise prospère sur le marché actuel : une attitude intrépide envers l’innovation et l’expérimentation.

André Morys travaille dans le domaine de l’expérimentation depuis près de trois décennies. Le PDG et fondateur de konversionsKRAFT a découvert l’importance de l’expérience utilisateur en lançant sa société d’optimisation d’e-commerce en 1996. Il a suivi l’évolution des solutions UX de pointe et de testing tout au long des années 2000, pour se consacrer entièrement à l’expérimentation et à l’optimisation de l’expérience en 2010.

Animé par sa fascination pour la mesure des résultats de l’expérience client et utilisateur, y compris l’impact financier des optimisations, André utilise son expertise pour guider ses clients à travers le processus d’expérimentation de manière claire et efficace.

Marylin Montoya, VP marketing chez AB Tasty, s’est entretenue avec André au sujet de la culture de l’expérimentation. C’est-à-dire, créer une culture de l’expérimentation acceptant l’échec et la prise de risque, dans le but d’innover sur des marchés compétitifs.

Voici quelques-unes des principales conclusions de leur conversation.

 

Le risque et l’échec font partie intégrante de l’innovation

De nombreuses entreprises ne souhaitant pas prendre de risques hésitent à mettre en place l’expérimentation, en raison de leur attitude à l’égard de l’échec. Lorsqu’on adopte une culture de l’expérimentation, il est essentiel de comprendre que, malgré les recherches et la préparation préalables, l’échec fait partie intégrante du processus d’innovation et de test. La plupart des tests donneront des résultats négatifs… mais cela ne doit pas être interprété comme un échec.

En surmontant nos croyances personnelles et notre honte de l’échec tout en encourageant les managers à montrer l’exemple, les entreprises pourront s’engager dans le processus d’expérimentation. Cela signifie qu’il faut discuter des échecs, en tirer des enseignements au sein d’une équipe et en faire une occasion d’apprendre. L’expérimentation offre aux équipes la possibilité d’évoluer dans leur façon de voir, de ressentir et de parler de l’échec et de se concentrer sur la recherche de solutions plutôt que sur la recherche du perfectionnisme.

André explique également que si l’expérimentation peut sembler risquée, elle est en fait un moyen de contrôler le niveau de risque lié à l’innovation. L’expérimentation s’accompagne d’un retour d’information, qui vous permet d’évaluer le succès d’une fonctionnalité ou d’une amélioration particulière, au lieu de la déployer naïvement, sans aucune expérimentation préalable, en espérant simplement que tout ira bien.

 

L’expérimentation doit toujours être liée aux objectifs stratégiques et mesurée

Le retour sur investissement de l’expérimentation se présente sous de nombreuses formes. André utilise un « cadre d’expérimentation digital » pour mettre en œuvre le processus d’expérimentation et mesurer les progrès. Par rapport à son « modèle de l’iceberg », si la pointe de l’iceberg représente les paramètres mesurables, de nombreux facteurs importants se trouvent sous la surface et sont difficiles à mesurer, ce qui fait que les gens sous-estiment la valeur de l’expérimentation.

« Vous ne pouvez pas mesurer l’influence de l’expérimentation sur la culture de votre entreprise, ni l’ampleur et le caractère durable de cet effet. Il sera peut-être dix fois plus important que l’amélioration réelle que vous créez », déclare André.

Une fois qu’ils ont découvert le processus, de nombreux managers s’accordent à dire qu’un changement de culture, d’inventivité et de rapidité est plus puissant qu’une amélioration des indicateurs. En d’autres termes, il s’agit de changer ce qui se trouve sous la surface (la culture d’entreprise) afin d’avoir un impact plus important à long terme, plutôt que de se concentrer sur la partie émergée de l’iceberg (les indicateurs).

Les entreprises commettent souvent l’erreur de ne pas aligner leurs objectifs d’expérimentation sur leurs objectifs stratégiques, ce qui risque de rendre l’expérimentation inutile. L’utilisation du cadre d’expérimentation pour optimiser le processus avec des objectifs partagés dès le début produira le meilleur résultat.

Utilisez la gamification pour mobiliser les équipes et créer une culture de l’expérimentation.

Il n’est pas forcément difficile de surmonter la résistance des entreprises à se lancer dans l’expérimentation ; en fait, cela peut même être amusant !

Par exemple…Faire participer les équipes à des jeux de devinettes et parier sur le test gagnant est une méthode simple mais efficace pour éduquer les gens et créer un attrait pour l’expérimentation. Cette technique crée également un sentiment d’humilité qui permet aux gens de réaliser que leurs hypothèses peuvent échouer et que le client peut avoir un avis différent.

La documentation du processus d’expérimentation et des résultats est également importante pour encourager le changement culturel. Relier les gens aux résultats permet d’apprendre et de mieux s’engager dans le processus d’expérimentation. Cela accroît la motivation pour s’améliorer davantage. Plutôt que de forcer les gens vers l’expérimentation, vous pouvez créer un attrait naturel pour celle-ci par un sentiment d’investissement personnel en utilisant les mesures comme feedback et en créant un volant d’inertie.

Un tableau de bord des expérimentations est essentiel pour montrer la santé de votre processus d’expérimentation. André souligne l’importance de réaliser des tests efficaces, en veillant à concentrer les tests sur les bons domaines, plutôt que de rechercher des expériences en grande quantité et très rapidement. L’objectif devrait être la qualité de l’expérimentation, et non le volume. Il est primordial de veiller à ce que les mesures importantes soient stockées sur un tableau de bord pour faciliter le changement de culture.

1000 Experiments Club André Morys

Que pouvez-vous apprendre d’autre de notre conversation avec André Morys ?

  • Les trois catalyseurs de l’innovation et la raison pour laquelle l’expérimentation en est un élément clé.
  • Comment le perfectionnisme bloque l’expérimentation et l’évolution de la culture de l’expérimentation en Allemagne.
  • Le parti pris du statu quo et les raisons pour lesquelles la direction peut résister au changement au sein d’une organisation.
  • Comment la pandémie a orienté les entreprises vers la croissance numérique.

 

À propos d’André Morys

André Morys a près de trente ans d’ expérience en matière de croissance numérique et d’optimisation des entreprises. Il a fondé konversionsKRAFT en 1996. Aujourd’hui, sa société est le principal cabinet de conseil en optimisation des activités dans la région DACH, avec plus de 80 consultants, concepteurs et experts en conversion.

Spécialisé dans la recherche, le conseil et les conférences, André associe la recherche qualitative, la psychologie du consommateur et l’économie comportementale aux données et à l’expérimentation afin de proposer les programmes de croissance les plus efficaces aux entreprises clientes.

 

Les recommandations de lecture d’André :
À propos du 1,000 Experiments Club

Le 1,000 Experiments Club est un podcast produit par AB Tasty et animé par Marylin Montoya, VP marketing chez AB Tasty. Joignez-vous à Marylin et à l’équipe marketing dans leurs différents entretiens avec les experts les plus compétents du monde de l’expérimentation pour découvrir leurs points de vue sur ce qu’il faut faire pour créer et exécuter des programmes d’expérimentation à succès.