Chad Sanderson présente les types d’expérimentation les plus réussis en fonction de la taille de l’entreprise et de ses ambitions de croissance
Pour Chad Sanderson, head of product – data platform chez Convoy, le rôle des données et de l’expérimentation sont inextricablement liés.
Chez Convoy, il supervise l’équipe data platform de bout en bout – qui comprend le data engineering, le machine learning, l’expérimentation, le pipeline de données – parmi une multitude d’autres équipes qui ont toute pour but d’apporter de l’aide à des milliers de transporteurs pour expédier le fret plus efficacement. Ce rôle lui a permis d’avoir une vue d’ensemble du processus, de l’idéation à l’exécution en passant par la construction.
Par conséquent, Chad a eu une place importante que la plupart des professionnels n’ont jamais : le processus d’expérimentation de bout en bout, de l’hypothèse à l’analyse et la production de rapports, jusqu’aux états financiers de fin d’année. Naturellement, il avait quelques idées à partager avec Marylin Montoya, VP marketing d’AB Tasty, lors de leur conversation sur la discipline de l’expérimentation et la complexité de l’identification de paramètres fiables.
Introduire l’expérimentation en tant que discipline
L’expérimentation, malgré toutes ses louanges, est encore relativement nouvelle. Vous aurez du mal à trouver de grandes collections de littérature ou une approche académique (bien que Ronny Kohavi ait écrit quelques réflexions sur le sujet). En outre, l’expérimentation n’est pas considérée comme une discipline de data science, surtout si on la compare aux domaines du machine learning ou du stockage de données.
Bien que l’on puisse trouver quelques conseils ici et là sur des blogs, on finit par passer à côté des connaissances techniques approfondies et des meilleures pratiques en matière de mise en place d’une plateforme, de création d’une bibliothèque de metrics et de sélection des bonnes metrics de manière systématique.
Chad attribue l’accessibilité de l’expérimentation à une arme à double tranchant. Beaucoup d’entreprises n’ont pas encore appliqué la même rigueur qu’à d’autres domaines liés à la data science, car il est facile de commencer d’un point de vue marketing. Mais à mesure que l’entreprise se développe, la maturité et la complexité de l’expérimentation augmentent également. C’est à ce moment-là que la littérature sur la création et la mise à l’échelle des plateformes est peu abondante, ce qui fait que le domaine est sous-évalué et qu’il est difficile de recruter les bons profils.
Quand l’expérimentation à petite échelle est votre meilleure chance
Lorsque l’on est une entreprise de grande envergure – comme Microsoft ou Google, avec des business units, des sources de données, des technologies et des opérations différentes – le déploiement de nouvelles fonctionnalités ou de modifications est une entreprise incroyablement risquée, étant donné que toute erreur peut avoir un impact sur des millions d’utilisateurs. Imaginez que vous introduisiez accidentellement un bug pour Microsoft Word ou PowerPoint : l’impact sur le résultat net serait préjudiciable.
Pour ces entreprises, le meilleur moyen de mener des expériences est d’adopter une approche prudente et à petite échelle. L’objectif est de se concentrer sur l’action immédiate, en attrapant les choses rapidement en temps réel et en effectuant des roll back.
En revanche, si vous êtes une startup en phase d’hypercroissance, votre approche sera très différente. Ces petites entreprises doivent généralement montrer à leurs investisseurs des gains à deux chiffres pour chaque nouvelle fonctionnalité déployée, ce qui signifie que leurs actions sont davantage axées sur la preuve de l’impact positif de la fonctionnalité et de la longévité de son succès.
Faites des métriques vos alliés de confiance
Chaque entreprise aura des indicateurs très différents en fonction de ce qu’elle recherche ; il est essentiel de définir ce que vous voulez avant de vous lancer dans l’expérimentation et la construction de votre programme.
Une question que vous devrez vous poser est la suivante : de quoi mes managers se soucient-ils ? Quels sont les objectifs de la direction ? C’est la clé pour définir le bon ensemble d’indicateurs qui fera avancer votre entreprise dans la bonne direction. Chad recommande d’établir une distinction entre les indicateurs front-end et back-end : les premiers sont facilement accessibles, les seconds le sont moins. Les indicateurs client-side, qu’il appelle indicateurs front-end, mesurent le revenu par transaction. Toutes les mesures mènent alors aux revenus, ce qui en soi n’est pas nécessairement une mauvaise chose, mais cela signifie simplement que toutes vos décisions sont basées sur la croissance des revenus et moins sur la preuve de l’évolutivité ou de l’impact gagnant d’une fonctionnalité.
Le conseil de Chad est de commencer par les problèmes de mesure que vous rencontrez, et à partir de là, de développer votre culture de l’expérimentation, de développer le système et enfin de choisir une plateforme.
Que pouvez-vous apprendre d’autre de notre conversation avec Chad Sanderson?
- Des besoins d’expérimentation différents pour les équipes engineering et marketing
- Construire une culture de l’expérimentation de haut en bas
- L’inconvénient de la mise à l’échelle des MVPs
- Pourquoi les spécialistes du marketing sont les porte-drapeaux de l’expérimentation
A propos de Chad Sanderson
Chad Sanderson est un expert de l’expérimentation digitale et de l’analyse à grande échelle. Product manager, écrivain et conférencier, il a donné des conférences sur des sujets tels que l’analyse avancée de l’expérimentation, les statistiques de l’expérimentation digitale, l’expérimentation à petite échelle pour les petites entreprises, etc. Il a précédemment travaillé en tant que gestionnaire de programme senior pour la plateforme d’IA de Microsoft. Avant cela, Chad a travaillé pour l’équipe d’expérimentation de Subway en tant que responsable de la personnalisation.
A propos de 1,000 Experiments Club
Le 1,000 Experiments Club est un podcast produit par AB Tasty et animé par Marylin Montoya, VP Marketing chez AB Tasty. Rejoignez Marylin et l’équipe marketing alors qu’ils s’entretiennent avec les experts les plus compétents du monde de l’expérimentation pour découvrir leurs points de vue sur ce qu’il faut faire pour créer et exécuter des programmes d’expérimentation réussis.
