Article

6min lecture

1,000 Experiments Club : Une conversation avec Chad Sanderson de Convoy

Chad Sanderson présente les types d’expérimentation les plus réussis en fonction de la taille de l’entreprise et de ses ambitions de croissance

Pour Chad Sanderson, head of product – data platform chez Convoy, le rôle des données et de l’expérimentation sont inextricablement liés.

Chez Convoy, il supervise l’équipe data platform de bout en bout – qui comprend le data engineering, le machine learning, l’expérimentation, le pipeline de données – parmi une multitude d’autres équipes qui ont toute pour but d’apporter de l’aide à des milliers de transporteurs pour expédier le fret plus efficacement. Ce rôle lui a permis d’avoir une vue d’ensemble du processus, de l’idéation à l’exécution en passant par la construction.

Par conséquent, Chad a eu une place importante que la plupart des professionnels n’ont jamais : le processus d’expérimentation de bout en bout, de l’hypothèse à l’analyse et la production de rapports, jusqu’aux états financiers de fin d’année. Naturellement, il avait quelques idées à partager avec Marylin Montoya, VP marketing d’AB Tasty, lors de leur conversation sur la discipline de l’expérimentation et la complexité de l’identification de paramètres fiables.

Introduire l’expérimentation en tant que discipline

L’expérimentation, malgré toutes ses louanges, est encore relativement nouvelle. Vous aurez du mal à trouver de grandes collections de littérature ou une approche académique (bien que Ronny Kohavi ait écrit quelques réflexions sur le sujet). En outre, l’expérimentation n’est pas considérée comme une discipline de data science, surtout si on la compare aux domaines du machine learning ou du stockage de données.

Bien que l’on puisse trouver quelques conseils ici et là sur des blogs, on finit par passer à côté des connaissances techniques approfondies et des meilleures pratiques en matière de mise en place d’une plateforme, de création d’une bibliothèque de metrics et de sélection des bonnes metrics de manière systématique.

Chad attribue l’accessibilité de l’expérimentation à une arme à double tranchant. Beaucoup d’entreprises n’ont pas encore appliqué la même rigueur qu’à d’autres domaines liés à la data science, car il est facile de commencer d’un point de vue marketing. Mais à mesure que l’entreprise se développe, la maturité et la complexité de l’expérimentation augmentent également. C’est à ce moment-là que la littérature sur la création et la mise à l’échelle des plateformes est peu abondante, ce qui fait que le domaine est sous-évalué et qu’il est difficile de recruter les bons profils.

Quand l’expérimentation à petite échelle est votre meilleure chance

Lorsque l’on est une entreprise de grande envergure – comme Microsoft ou Google, avec des business units, des sources de données, des technologies et des opérations différentes – le déploiement de nouvelles fonctionnalités ou de modifications est une entreprise incroyablement risquée, étant donné que toute erreur peut avoir un impact sur des millions d’utilisateurs. Imaginez que vous introduisiez accidentellement un bug pour Microsoft Word ou PowerPoint : l’impact sur le résultat net serait préjudiciable.

Pour ces entreprises, le meilleur moyen de mener des expériences est d’adopter une approche prudente et à petite échelle. L’objectif est de se concentrer sur l’action immédiate, en attrapant les choses rapidement en temps réel et en effectuant des roll back.

En revanche, si vous êtes une startup en phase d’hypercroissance, votre approche sera très différente. Ces petites entreprises doivent généralement montrer à leurs investisseurs des gains à deux chiffres pour chaque nouvelle fonctionnalité déployée, ce qui signifie que leurs actions sont davantage axées sur la preuve de l’impact positif de la fonctionnalité et de la longévité de son succès.

Faites des métriques vos alliés de confiance

Chaque entreprise aura des indicateurs très différents en fonction de ce qu’elle recherche ; il est essentiel de définir ce que vous voulez avant de vous lancer dans l’expérimentation et la construction de votre programme.

Une question que vous devrez vous poser est la suivante : de quoi mes managers se soucient-ils ? Quels sont les objectifs de la direction ? C’est la clé pour définir le bon ensemble d’indicateurs qui fera avancer votre entreprise dans la bonne direction. Chad recommande d’établir une distinction entre les indicateurs front-end et back-end : les premiers sont facilement accessibles, les seconds le sont moins. Les indicateurs client-side, qu’il appelle indicateurs front-end, mesurent le revenu par transaction. Toutes les mesures mènent alors aux revenus, ce qui en soi n’est pas nécessairement une mauvaise chose, mais cela signifie simplement que toutes vos décisions sont basées sur la croissance des revenus et moins sur la preuve de l’évolutivité ou de l’impact gagnant d’une fonctionnalité.

Le conseil de Chad est de commencer par les problèmes de mesure que vous rencontrez, et à partir de là, de développer votre culture de l’expérimentation, de développer le système et enfin de choisir une plateforme.

Que pouvez-vous apprendre d’autre de notre conversation avec Chad Sanderson?

  • Des besoins d’expérimentation différents pour les équipes engineering et marketing
  • Construire une culture de l’expérimentation de haut en bas
  • L’inconvénient de la mise à l’échelle des MVPs
  • Pourquoi les spécialistes du marketing sont les porte-drapeaux de l’expérimentation

 

A propos de Chad Sanderson

Chad Sanderson est un expert de l’expérimentation digitale et de l’analyse à grande échelle. Product manager, écrivain et conférencier, il a donné des conférences sur des sujets tels que l’analyse avancée de l’expérimentation, les statistiques de l’expérimentation digitale, l’expérimentation à petite échelle pour les petites entreprises, etc. Il a précédemment travaillé en tant que gestionnaire de programme senior pour la plateforme d’IA de Microsoft. Avant cela, Chad a travaillé pour l’équipe d’expérimentation de Subway en tant que responsable de la personnalisation.

A propos de 1,000 Experiments Club

Le 1,000 Experiments Club est un podcast produit par AB Tasty et animé par Marylin Montoya, VP Marketing chez AB Tasty. Rejoignez Marylin et l’équipe marketing alors qu’ils s’entretiennent avec les experts les plus compétents du monde de l’expérimentation pour découvrir leurs points de vue sur ce qu’il faut faire pour créer et exécuter des programmes d’expérimentation réussis.

 

Vous aimeriez aussi...

Abonnez-vous à
notre Newsletter

bloc Newsletter FR

La politique de confidentialité d'AB Tasty est disponible ici.

Article

7min lecture

1,000 Experiments Club : Une conversation avec Ronny Kohavi (Ex Airbnb, Microsoft et Amazon)

L’un des pionniers de l’expérimentation nous fait part d’une réalité qui fait réfléchir : la plupart des idées sont vouées à l’échec (et c’est une bonne chose)

Peu de personnes ont accumulé autant d’expérience que Ronny Kohavi en matière d’expérimentation. Son travail chez des géants de la tech tels qu’Amazon, Microsoft et Airbnb – pour n’en citer que quelques-uns – a permis de construire les fondations de ce qui est aujourd’hui l’expérimentation digitale.

Avant que l’idée de « build fast, deploy often » ne s’impose dans les entreprises techs, les développeurs suivaient un modèle en cascade qui prévoyait des releases moins nombreuses (parfois tous les 2 ou 3 ans). Le raccourcissement des cycles de développement au début des années 2000, grâce à la méthodologie Agile et à une hausse de l’expérimentation digitale, a créé la tempête parfaite pour une révolution du développement logiciel – et Ronny était au centre de tout cela.

Marylin Montoya, VP Marketing d’AB Tasty, a voulu découvrir les débuts de l’expérimentation avec Ronny et pourquoi l’échec est en fait une bonne chose. Voici quelques-unes des principales conclusions de leur conversation.

.

Les déploiements progressifs comme filet de sécurité

Un cycle typique d’expérimentation consiste à exposer le test à 50 % de la population pendant deux semaines en moyenne avant une diffusion progressive. Mais Ronny suggère d’aborder la question d’un point de vue différent. Commencer par une petite audience de seulement 2 % avant de passer à 50 %. La montée en puissance plus lente vous donne le temps de détecter tout problème flagrant ou une dégradation des valeurs des métriques en temps quasi réel.

Dans une expérience, nous pouvons nous concentrer sur deux fonctionnalités seulement, mais nous disposons d’un large ensemble de garde-fous qui suggèrent que nous ne devrions pas dégrader X, Y ou Z. Les données statistiques que vous recueillez peuvent également suggérer que vous avez un impact sur quelque chose que vous ne vouliez pas. D’où l’utilisation de déploiements progressifs qui permettent d’identifier les facteurs externes et de rollback facilement.

C’est comme si vous faisiez refroidir de l’eau : vous vous rendez compte que vous changez la température, mais ce n’est que lorsque vous atteignez 0ºC que la glace se forme. Vous réalisez soudain que lorsque vous atteignez un certain point, quelque chose de très important se produit. Ainsi, le fait de déployer à une vitesse sûre et de surveiller les résultats peut conduire à d’énormes améliorations.

Votre idée géniale ? Elle va très probablement échouer.

Rien ne vous permet de mieux vérifier la réalité que l’expérimentation à grande échelle. Tout le monde pense qu’il fait le meilleur travail du monde jusqu’à ce qu’il soit entre les mains de ses utilisateurs. C’est à ce moment-là que le vrai feedback entre en jeu.

Plus de deux tiers des idées ne parviennent pas à faire évoluer les paramètres qu’elles étaient censées améliorer – une statistique que Ronny partage avec nous depuis son passage chez Microsoft, où il a fondé l’équipe d’expérimentation, composée de plus de 100 data scientists, développeurs et responsables de programmes.

Cependant, ne vous laissez pas décourager. Dans le monde de l’expérimentation, l’échec est une bonne chose. Échouer rapidement, pivoter rapidement. Le fait de se rendre compte que la direction dans laquelle vous vous engagez n’est pas aussi prometteuse que vous le pensiez vous permet d’utiliser ces nouvelles découvertes pour enrichir vos prochaines actions.

Chez Airbnb, l’équipe d’expérimentation de Ronny a déployé de nombreux algorithmes d’apprentissage automatique pour améliorer la recherche. Sur 250 idées testées dans le cadre d’expériences contrôlées, seules 20 d’entre elles se sont avérées avoir un impact positif sur les paramètres clés – ce qui signifie que plus de 90 % des idées n’ont pas réussi à faire bouger l’aiguille. En revanche, qu’en est-il des 20 idées qui ont connu un certain succès ? Elles ont permis d’améliorer de 6 % la conversion des réservations, ce qui représente des centaines de millions de dollars.

Le starter pack pour l’expérimentation

Il est plus facile aujourd’hui de convaincre les dirigeants d’investir dans l’expérimentation, car il existe de nombreux cas d’utilisation réussis. Le conseil de Ronny est de commencer avec une équipe qui dispose d’un capital d’itération. Si vous êtes en mesure d’effectuer davantage d’expériences et qu’un certain pourcentage d’entre elles sont réussies ou échouées, cette capacité à essayer des idées est essentielle.

Choisissez un scénario dans lequel vous pouvez facilement intégrer le processus d’expérimentation dans le cycle de développement, puis passez à des scénarios plus complexes. La valeur de l’expérimentation est plus claire car les déploiements sont plus fréquents. Si vous travaillez dans une équipe qui effectue des déploiements tous les six mois, il n’y a pas beaucoup de marge de manœuvre car tout le monde a déjà investi ses efforts dans l’idée que la fonctionnalité ne peut pas échouer. Ce qui, comme Ronny l’a souligné plus tôt, a une faible probabilité de succès.

L’expérimentation convient-elle à toutes les entreprises ? La réponse courte est non. Une entreprise doit disposer de certains ingrédients pour pouvoir tirer profit de l’expérimentation. L’un de ces ingrédients est d’être dans un domaine où il est facile d’apporter des changements, comme les services pour les sites Web ou les logiciels. Le deuxième ingrédient est qu’il faut un nombre suffisant d’utilisateurs. Une fois que vous avez des dizaines de milliers d’utilisateurs, vous pouvez commencer à expérimenter et à le faire à grande échelle. Enfin, assurez-vous de disposer de résultats fiables pour prendre vos décisions.

 

Que pouvez-vous apprendre d’autre de notre conversation avec Ronny Kohavi ?

  • Comment l’expérimentation devient centrale dans la construction de votre produit
  • Pourquoi l’expérimentation est à la base des meilleures entreprises technologiques
  • Le rôle des dirigeants dans l’évangélisation d’une culture de l’expérimentation
  • Comment créer un environnement propice à une l’expérimentation et à des résultats fiables ?
A propos de Ronny Kohavi

Ronny Kohavi est un véritable expert en matière d’expérimentation, ayant travaillé sur des expériences contrôlées, le machine learning, la recherche, la personnalisation et l’IA pendant près de trois décennies. Ronny était auparavant vice-président technique chez Airbnb. Avant cela, Ronny a dirigé l’analyse et l’expérimentation au sein du groupe Cloud et IA de Microsoft et a été directeur de l’exploration des données et de la personnalisation chez Amazon. Ronny est également co-auteur de “Trustworthy Online Controlled Experiments : A Practical Guide to A/B Testing.,” qui est actuellement le livre sur le data mining le plus vendu sur Amazon.

A propos de 1,000 Experiments Club

Le 1,000 Experiments Club est un podcast produit par AB Tasty et animé par Marylin Montoya, VP Marketing chez AB Tasty. Rejoignez Marylin et l’équipe marketing alors qu’ils s’entretiennent avec les experts les plus compétents du monde de l’expérimentation pour découvrir leurs points de vue sur ce qu’il faut faire pour créer et exécuter des programmes d’expérimentation réussis.