Construire une culture de l’expérimentation nécessite une appétence pour l’itération, une tolérance à l’échec, et un état d’esprit « test & learn ». Le podcast 1000 Experiments Club explore tous ces sujets avec certaines des voix les plus influentes du secteur.
Des CEO aux fondateurs, en passant par les responsables CRO, ces experts partagent les leçons tirées de leurs carrières dans l’expérimentation au sein des plus grandes entreprises tech, ainsi que leurs visions sur l’avenir de l’optimisation.
Que vous soyez débutant en A/B testing ou un professionnel chevronné, voici notre sélection de spécialistes de l’expérimentation et du CRO à suivre :
Ronny Kohavi
Ronny Kohavi, pionnier dans le domaine de l’expérimentation, apporte plus de trois décennies d’expérience en machine learning, en expérimentations, en IA et en personnalisation.
Il a été Vice President et Technical Fellow chez Airbnb. Auparavant, il était Technical Fellow et Corporate Vice President chez Microsoft, où il dirigeait l’équipe d’analyse et d’expérimentation (ExP). Avant cela, il a été Director of Personalization and Data Mining chez Amazon.
Ronny anime un cours en ligne interactif sur l’accélération de l’innovation grâce aux tests A/B, suivi par plus de 800 étudiants.
Les travaux de Ronny ont contribué à jeter les bases de l’expérimentation en ligne moderne, influençant la manière dont certaines des plus grandes entreprises au monde abordent les tests et la prise de décision.
Il plaide pour une montée en charge progressive plutôt que pour un découpage classique 50/50 au lancement :
« Une chose qui s’avère vraiment utile, c’est de commencer par une montée en charge faible. Même si vous prévoyez d’aller vers 50 % en groupe témoin et 50 % en traitement, démarrez à 2 %. Si quelque chose d’excessif se produit, par exemple un indicateur qui chute de 10 % au lieu des 0,5 % que vous surveillez, vous pouvez le détecter quasiment en temps réel. »
Cette montée en charge lente aide les équipes à détecter rapidement les problèmes critiques et à protéger l’expérience utilisateur.
Talia Wolf
Talia Wolf est une spécialiste de l’optimisation des conversions et la fondatrice et PDG de Getuplift, où elle aide les entreprises à augmenter leurs revenus, leurs leads, l’engagement et les ventes grâce au ciblage émotionnel, au design persuasif et aux données comportementales.
Elle a débuté sa carrière dans une agence de médias sociaux, où elle a découvert le CRO, puis a occupé le poste de directrice marketing chez monday.com avant de lancer sa première agence, Conversioner, en 2013.
Talia apprend aux entreprises à optimiser leur présence en ligne en s’appuyant sur des stratégies guidées par l’émotion. Elle souligne que les textes et les visuels doivent répondre aux besoins des clients, plutôt que de se concentrer uniquement sur le produit.
Pour Talia, le marketing émotionnel est par nature centré sur le client et fondé sur la recherche. À partir de là, on peut construire des expérimentations dans des plateformes de tests A/B en s’appuyant sur un indicateur guide clair, qu’il s’agisse des paiements, des inscriptions, ou des ajouts au panier, afin de valider des hypothèses et de stimuler la croissance.
Elissa Quinby
Elissa Quinby est Head of Product Marketing chez Pattern, une plateforme d’accélération e-commerce, avec une carrière ancrée dans le retail, le marketing et l’expérience client.
Avant de rejoindre Pattern, elle a dirigé le marketing retail en tant que Senior Director chez Quantum Metric. Elle a commencé sa carrière comme assistante acheteuse chez American Eagle Outfitters, puis a passé deux ans chez Google en tant que Digital Marketing Strategist. Elissa a ensuite passé huit ans chez Amazon, où elle a occupé des postes en marketing, en gestion de programme et en produit.
Elissa souligne l’importance de commencer petit pour instaurer la confiance avec de nouveaux clients. « L’objectif est d’offrir de la valeur en échange des données », explique-t‑elle, en désignant les données first‑party comme « l’ingrédient secret » derrière de nombreuses entreprises performantes.
Elle encourage les marques à expérimenter des moyens créatifs de collecter des informations clients, toujours avec la confiance au centre, afin de personnaliser les expériences et d’approfondir la compréhension des clients au fil du temps.
Lukas Vermeer
Lukas Vermeer, Director of Experimentation chez Vista, est un expert de la conception, de l’implémentation et du scaling d’expérimentation. Il a auparavant passé plus de huit ans chez Booking.com, où il a occupé des postes de product manager, de data scientist, puis de Director of Experimentation.
Avec une formation en machine learning et en IA, Lukas se spécialise dans la création des infrastructures et des processus nécessaires pour industrialiser les tests et stimuler la croissance. Il conseille également des entreprises pour les aider à lancer et accélérer leurs efforts d’expérimentation.
Étant donné la rapidité des changements actuels, Lukas estime que les roadmaps doivent être considérées comme des guides flexibles, et non comme des plans rigides : « Je pense que les roadmaps ne sont pas forcément mauvaises, mais elles devraient reconnaître qu’il existe de l’incertitude. Le livrable doit être une clarification de cette incertitude, plutôt que de dire, “Dans deux mois, nous livrerons la fonctionnalité XYZ”. »
Plutôt que de promettre des résultats finaux, Lukas met l’accent sur l’acceptation de l’incertitude afin de prendre de meilleures décisions, fondées sur les données.
Jonny Longden
Jonny Longden est Chief Growth Officer chez Speero, avec plus de 17 ans d’expérience à améliorer des sites web grâce aux données et à l’expérimentation. Il a auparavant occupé des postes de direction chez Boohoo Group, Journey Further, Sky et Visa, où il a dirigé des équipes en expérimentation, en analytics et en produit digital.
Jonny estime que les petites entreprises et les start-up, surtout à leurs débuts et en phase exploratoire, sont celles qui ont le plus à gagner grâce à l’expérimentation. Sans tests, soutient‑il, la plupart des idées ont peu de chances de réussir.
« Sans expérimentation, vos idées ne vont probablement pas fonctionner », dit Jonny. « Les choses qui paraissent évidentes ne donnent souvent pas de résultats, et les idées qui semblent improbables, voire un peu absurdes, peuvent parfois avoir le plus grand impact. »
Pour Jonny, l’expérimentation n’est pas qu’une tactique, c’est la seule manière fiable d’identifier ce qui fonctionne vraiment et de générer des progrès significatifs, étayés par les données.
Ruben de Boer
Ruben de Boer est Lead CRO Manager chez Online Dialogue et fondateur de Conversion Ideas, avec plus de 14 ans d’expérience dans la donnée et l’optimisation.
Chez Online Dialogue, il dirige l’équipe des Conversion Managers, développe les compétences, maintient la qualité, et définit la stratégie et les objectifs. Via son entreprise, Conversion Ideas, Ruben aide les personnes à lancer leur carrière en CRO et en expérimentation en proposant des cours et des ressources accessibles et de haute qualité.
Ruben estime que l’expérimentation ne doit pas être jugée uniquement aux résultats. « Environ 25 % des tests A/B aboutissent à un gagnant, ce qui signifie que 75 % de ce qui est construit n’est pas mis en production, et cela peut donner l’impression d’un échec si vous ne vous concentrez que sur la production », explique‑t‑il.
Il encourage plutôt les équipes à déplacer leur attention vers des enseignements centrés sur le client. Lorsque l’objectif devient de comprendre l’utilisateur, et pas seulement de livrer des fonctionnalités, la raison d’être de l’expérimentation évolue entièrement.
David Mannheim
David Mannheim est un stratège de l’expérience digitale avec plus de 15 ans d’expertise, aidant des marques comme ASOS, Sports Direct et Boots à faire évoluer leurs stratégies de conversion.
Il est le PDG et fondateur de Made With Intent, consacré à faire progresser des approches innovantes de la personnalisation grâce à l’IA. Auparavant, il a fondé User Conversion, devenue l’une des plus grandes agences de CRO indépendantes au Royaume‑Uni.
David a récemment publié un livre qui explore ce qu’il appelle l’élément manquant de la personnalisation moderne, la personne. « Souvenez‑vous des trois premières syllabes de personnalisation », dit‑il. « Cela se perd souvent dans les données. »
Il plaide pour un recentrage vers un ROI à long terme vs à court terme, en mettant l’accent sur des métriques comme la satisfaction, la fidélité et la valeur vie client, plutôt que sur des gains fondés sur le volume.
« Plus de qualité que de quantité », explique David, « et davantage de reconnaissance des éléments intangibles, pas seulement des tangibles, met les marques dans une bien meilleure position. »
Marianne Stjernvall
Marianne Stjernvall a plus de dix ans d’expérience en CRO et en expérimentation, elle a mené plus de 500 tests A/B et aidé plus de 30 organisations à développer leurs programmes de tests.
Marianne est la fondatrice de Queen of CRO et la cofondatrice de ConversionHub, l’agence de CRO la plus senior de Suède. Consultante CRO reconnue, elle aide les organisations à bâtir des cultures d’expérimentation guidées par les données et l’apprentissage continu.
Marianne enseigne également régulièrement, en partageant son expertise sur tout le spectre du CRO, des tests A/B et de l’exécution des programmes d’expérimentation.
Elle insiste sur l’importance d’une approche de test centralisée, « Si chaque département mène des expériences de son côté, vous risquez de prendre des décisions à partir de trois jeux de données différents, puisque les équipes analyseront des types de données différents. Le fait d’avoir une responsabilité claire et un cadre unifié garantit que l’organisation travaille de manière cohérente avec les tests. »
Ben Labay
Ben Labay est le PDG de Speero, alliant la rigueur académique en statistique à une solide expertise en expérience client et en UX.
Titulaire de diplômes en comportement évolutif et en sciences de la conservation, Ben a débuté sa carrière comme chercheur à l’Université du Texas, spécialisé en modélisation de données et en recherche.
Cette base nourrit son travail chez Speero, où il aide les organisations à exploiter les données clients pour prendre de meilleures décisions.
Ben souligne que les enseignements doivent conduire à l’action et révéler des schémas significatifs. « Toutes les agences et toutes les équipes internes collectent des données et testent à partir d’enseignements, mais on ne peut pas s’arrêter là. »
Passionné par l’avancement de l’expérimentation, Ben se concentre sur le développement de nouveaux modèles, l’application de la théorie des jeux, et l’adoption d’innovations audacieuses pour mettre au jour des enseignements plus importants et plus disruptifs.
André Morys
André Morys, PDG et fondateur de konversionsKRAFT, compte près de trois décennies d’expérience en expérimentation, en croissance digitale et en optimisation e‑commerce.
Animé par une profonde fascination pour l’expérience utilisateur et client, André guide ses clients tout au long du processus d’expérimentation en combinant données, économie comportementale, psychologie du consommateur et recherche qualitative.
Il estime que les enseignements les plus précieux se trouvent sous la surface. « La plupart des gens sous‑estiment la valeur de l’expérimentation en raison des facteurs difficiles à mesurer », explique André.
« Vous ne pouvez pas mesurer l’influence de l’expérimentation sur la culture de votre entreprise, pourtant cet impact peut être dix fois plus important que l’uplift immédiat que vous créez. »
Cette philosophie est au cœur de son cadre d’expérimentation digitale, qui inclut son modèle de l’iceberg pour capturer à la fois les effets mesurables et les effets intangibles des tests.
Jeremy Epperson
Jeremy Epperson est le fondateur de Thetamark, il a consacré 14 ans à l’optimisation des taux de conversion et à la croissance des start‑up. Il a travaillé avec certaines des licornes à la croissance la plus rapide au monde, en recherchant, en construisant et en mettant en œuvre des programmes de CRO pour plus de 150 entreprises en phase de croissance.
En recueillant des enseignements auprès d’entreprises diverses, Jeremy a mis au point une approche fondée sur les données pour identifier les obstacles aux tests, ce qui lui permet d’optimiser les processus de CRO et d’éviter les courbes d’apprentissage abruptes souvent associées aux nouveaux lancements.
Dans son interview, Jeremy insiste sur l’importance de se concentrer sur l’expérience client pour stimuler la croissance. Il explique, « Nous ferons mieux en tant qu’entreprise lorsque nous offrirons une meilleure expérience au client, que nous lui simplifierons la vie, que nous simplifierons la conversion, et que nous éliminerons les obstacles qui le frustrent et provoquent l’abandon. »
Son objectif ultime avec l’expérimentation est de créer un processus fluide de bout en bout.
Chad Sanderson
Chad Sanderson est le PDG et fondateur de Gable, une entreprise SaaS B2B d’infrastructure de données, et un expert reconnu de l’expérimentation digitale et de l’analyse à grande échelle.
Il est aussi product manager, conférencier et auteur, il a donné des cours sur des sujets tels que les statistiques de l’expérimentation digitale, les techniques d’analyse avancées, et les tests à petite échelle pour les petites entreprises.
Chad a précédemment été Senior Program Manager pour la plateforme d’IA de Microsoft, et Personalization Manager pour l’équipe d’expérimentation de Subway.
Il recommande de distinguer les métriques front‑end, côté client, et back‑end avant de lancer des expériences. Les métriques côté client, comme le revenu par transaction, sont plus faciles à suivre, mais elles peuvent restreindre l’attention à la seule croissance du revenu.
« Un ensemble de métriques avec lequel les entreprises se trompent, c’est de s’appuyer uniquement sur des métriques côté client comme le revenu par achat », explique Chad. « Bien que le revenu soit important, se concentrer uniquement dessus peut conduire à des décisions qui négligent l’impact global d’une fonctionnalité. »
Carlos González de Villaumbrosia
Carlos Gonzalez de Villaumbrosia a passé les 12 dernières années à construire des entreprises mondiales et des produits numériques.
Fort d’une formation en Global Business Management et Marketing, en informatique et en génie industriel, Carlos a fondé Floqq, le plus grand marché d’éducation en ligne d’Amérique latine.
En 2014, il a fondé Product School, aujourd’hui leader mondial de la formation en Product Management.
Carlos estime que l’expérimentation est devenue plus accessible et essentielle pour les product managers. « Vous n’avez plus besoin d’un bagage en data science ou en ingénierie pour être efficace », dit‑il.
Il considère les product managers comme des figures centrales à l’intersection du business, du design, de l’ingénierie, de la réussite client, des données et des ventes. Réussir dans ce rôle exige des compétences en expérimentation, en construction de roadmap, en analyse de données et en prototypage, ce qui fait de l’expérimentation une compétence clé dans le paysage produit actuel.
Bhavik Patel
Bhavik Patel est Data Director chez Huel, client d’AB Tasty, et le fondateur de CRAP Talks, une série de meetups qui réunissent les professionnels du CRO autour de la conversion, de l’analytics et du produit.
Auparavant, il a été Product Analytics & Experimentation Director chez Lean Convert, où il a piloté les stratégies de test et d’optimisation pour de grandes marques. Fort d’une expertise approfondie en personnalisation, en expérimentation et en prise de décision fondée sur les données, Bhavik aide les équipes à évoluer du simple A/B testing vers des programmes stratégiques à fort impact.
Avec un focus sur l’expérimentation, la personnalisation et la stratégie data‑driven, Bhavik guide les équipes pour créer de meilleures expériences digitales et des programmes de test plus intelligents.
Sa philosophie repose sur des tests disruptifs, des expériences audacieuses destinées à dépasser les maxima locaux pour obtenir des résultats statistiquement significatifs. « Une fois que vous maîtrisez les fondamentaux, il est temps de prendre de plus gros paris », dit‑il.
Bhavik insiste aussi sur l’importance d’identifier le bon problème avant de passer aux solutions, « La meilleure solution pour le mauvais problème n’aura aucun impact. »
Rand Fishkin
Rand Fishkin est le cofondateur et PDG de SparkToro, créateur d’un logiciel de recherche d’audience conçu pour rendre les insights d’audience accessibles à tous.
Il a également fondé Moz et cofondé Inbound.org avec Dharmesh Shah, acquis plus tard par HubSpot en 2014. Rand est un conférencier principal régulier à l’échelle mondiale sur le marketing et l’entrepreneuriat, il se consacre à aider les gens à améliorer leurs efforts marketing.
Rand met en avant le potentiel inexploité des marchés de niche, « De nombreux fondateurs ne pensent pas à la force qu’il y a à servir un petit groupe de personnes ciblé, peut‑être seulement quelques milliers, qui ont vraiment besoin de leur produit. Si vous le créez pour eux, ils vont l’adorer. Il y a là une opportunité immense. »
Grand défenseur de la prise de risque et de l’expérimentation, Rand encourage les marketeurs à identifier où se trouvent leurs audiences, et à aller les engager directement là‑bas.
Shiva Manjunath
Shiva Manjunath est Senior Web Product Manager, CRO, chez Motive et animateur du podcast From A to B. Fort d’une expérience chez des entreprises comme Gartner, Norwegian Cruise Line et Edible, il a passé des années à analyser le comportement des utilisateurs et à obtenir de vrais résultats grâce à l’expérimentation.
Shiva est connu pour remettre en question le mythe des « bonnes pratiques », en soulignant que l’optimisation requiert du contexte, pas des listes de contrôle. « Si vous pensez que ce soi‑disant checklist de bonnes pratiques suffit, tout le CRO se réduit à une liste de tâches à faire sur votre site. Et c’est tellement faux », dit‑il.
Chez Gartner, un formulaire simplifié, souvent considéré comme une victoire en CRO, a entraîné une baisse des conversions, ce qui a renforcé sa conviction que la véritable expérimentation consiste à comprendre pourquoi les utilisateurs agissent, pas seulement ce qu’ils font.
À travers son travail et son podcast, Shiva vise à démystifier le CRO et à encourager les praticiens à réfléchir plus en profondeur, à tester plus intelligemment, et à ne jamais cesser de poser des questions.
