1,000 Experiments Club : Une conversation avec Ronny Kohavi (Ex Airbnb, Microsoft et Amazon)

Partager sur

LinkedIn Facebook Twitter

L’un des pionniers de l’expérimentation nous fait part d’une réalité qui fait réfléchir : la plupart des idées sont vouées à l’échec (et c’est une bonne chose)

Peu de personnes ont accumulé autant d’expérience que Ronny Kohavi en matière d’expérimentation. Son travail chez des géants de la tech tels qu’Amazon, Microsoft et Airbnb – pour n’en citer que quelques-uns – a permis de construire les fondations de ce qui est aujourd’hui l’expérimentation digitale.

Avant que l’idée de « build fast, deploy often » ne s’impose dans les entreprises techs, les développeurs suivaient un modèle en cascade qui prévoyait des releases moins nombreuses (parfois tous les 2 ou 3 ans). Le raccourcissement des cycles de développement au début des années 2000, grâce à la méthodologie Agile et à une hausse de l’expérimentation digitale, a créé la tempête parfaite pour une révolution du développement logiciel – et Ronny était au centre de tout cela.

Marylin Montoya, VP Marketing d’AB Tasty, a voulu découvrir les débuts de l’expérimentation avec Ronny et pourquoi l’échec est en fait une bonne chose. Voici quelques-unes des principales conclusions de leur conversation.

.

Les déploiements progressifs comme filet de sécurité

Un cycle typique d’expérimentation consiste à exposer le test à 50 % de la population pendant deux semaines en moyenne avant une diffusion progressive. Mais Ronny suggère d’aborder la question d’un point de vue différent. Commencer par une petite audience de seulement 2 % avant de passer à 50 %. La montée en puissance plus lente vous donne le temps de détecter tout problème flagrant ou une dégradation des valeurs des métriques en temps quasi réel.

Dans une expérience, nous pouvons nous concentrer sur deux fonctionnalités seulement, mais nous disposons d’un large ensemble de garde-fous qui suggèrent que nous ne devrions pas dégrader X, Y ou Z. Les données statistiques que vous recueillez peuvent également suggérer que vous avez un impact sur quelque chose que vous ne vouliez pas. D’où l’utilisation de déploiements progressifs qui permettent d’identifier les facteurs externes et de rollback facilement.

C’est comme si vous faisiez refroidir de l’eau : vous vous rendez compte que vous changez la température, mais ce n’est que lorsque vous atteignez 0ºC que la glace se forme. Vous réalisez soudain que lorsque vous atteignez un certain point, quelque chose de très important se produit. Ainsi, le fait de déployer à une vitesse sûre et de surveiller les résultats peut conduire à d’énormes améliorations.

Votre idée géniale ? Elle va très probablement échouer.

Rien ne vous permet de mieux vérifier la réalité que l’expérimentation à grande échelle. Tout le monde pense qu’il fait le meilleur travail du monde jusqu’à ce qu’il soit entre les mains de ses utilisateurs. C’est à ce moment-là que le vrai feedback entre en jeu.

Plus de deux tiers des idées ne parviennent pas à faire évoluer les paramètres qu’elles étaient censées améliorer – une statistique que Ronny partage avec nous depuis son passage chez Microsoft, où il a fondé l’équipe d’expérimentation, composée de plus de 100 data scientists, développeurs et responsables de programmes.

Cependant, ne vous laissez pas décourager. Dans le monde de l’expérimentation, l’échec est une bonne chose. Échouer rapidement, pivoter rapidement. Le fait de se rendre compte que la direction dans laquelle vous vous engagez n’est pas aussi prometteuse que vous le pensiez vous permet d’utiliser ces nouvelles découvertes pour enrichir vos prochaines actions.

Chez Airbnb, l’équipe d’expérimentation de Ronny a déployé de nombreux algorithmes d’apprentissage automatique pour améliorer la recherche. Sur 250 idées testées dans le cadre d’expériences contrôlées, seules 20 d’entre elles se sont avérées avoir un impact positif sur les paramètres clés – ce qui signifie que plus de 90 % des idées n’ont pas réussi à faire bouger l’aiguille. En revanche, qu’en est-il des 20 idées qui ont connu un certain succès ? Elles ont permis d’améliorer de 6 % la conversion des réservations, ce qui représente des centaines de millions de dollars.

Le starter pack pour l’expérimentation

Il est plus facile aujourd’hui de convaincre les dirigeants d’investir dans l’expérimentation, car il existe de nombreux cas d’utilisation réussis. Le conseil de Ronny est de commencer avec une équipe qui dispose d’un capital d’itération. Si vous êtes en mesure d’effectuer davantage d’expériences et qu’un certain pourcentage d’entre elles sont réussies ou échouées, cette capacité à essayer des idées est essentielle.

Choisissez un scénario dans lequel vous pouvez facilement intégrer le processus d’expérimentation dans le cycle de développement, puis passez à des scénarios plus complexes. La valeur de l’expérimentation est plus claire car les déploiements sont plus fréquents. Si vous travaillez dans une équipe qui effectue des déploiements tous les six mois, il n’y a pas beaucoup de marge de manœuvre car tout le monde a déjà investi ses efforts dans l’idée que la fonctionnalité ne peut pas échouer. Ce qui, comme Ronny l’a souligné plus tôt, a une faible probabilité de succès.

L’expérimentation convient-elle à toutes les entreprises ? La réponse courte est non. Une entreprise doit disposer de certains ingrédients pour pouvoir tirer profit de l’expérimentation. L’un de ces ingrédients est d’être dans un domaine où il est facile d’apporter des changements, comme les services pour les sites Web ou les logiciels. Le deuxième ingrédient est qu’il faut un nombre suffisant d’utilisateurs. Une fois que vous avez des dizaines de milliers d’utilisateurs, vous pouvez commencer à expérimenter et à le faire à grande échelle. Enfin, assurez-vous de disposer de résultats fiables pour prendre vos décisions.

Que pouvez-vous apprendre d’autre de notre conversation avec Ronny Kohavi ?

• Comment l’expérimentation devient centrale dans la construction de votre produit
• Pourquoi l’expérimentation est à la base des meilleures entreprises technologiques
• Le rôle des dirigeants dans l’évangélisation d’une culture de l’expérimentation
• Comment créer un environnement propice à une l’expérimentation et à des résultats fiables ?

A propos de Ronny Kohavi

Ronny Kohavi est un véritable expert en matière d’expérimentation, ayant travaillé sur des expériences contrôlées, le machine learning, la recherche, la personnalisation et l’IA pendant près de trois décennies. Ronny était auparavant vice-président technique chez Airbnb. Avant cela, Ronny a dirigé l’analyse et l’expérimentation au sein du groupe Cloud et IA de Microsoft et a été directeur de l’exploration des données et de la personnalisation chez Amazon. Ronny est également co-auteur de “Trustworthy Online Controlled Experiments : A Practical Guide to A/B Testing.,” qui est actuellement le livre sur le data mining le plus vendu sur Amazon.

A propos de 1,000 Experiments Club

Le 1,000 Experiments Club est un podcast produit par AB Tasty et animé par Marylin Montoya, VP Marketing chez AB Tasty. Rejoignez Marylin et l’équipe marketing alors qu’ils s’entretiennent avec les experts les plus compétents du monde de l’expérimentation pour découvrir leurs points de vue sur ce qu’il faut faire pour créer et exécuter des programmes d’expérimentation réussis.

Partager sur

LinkedIn Facebook Twitter