Le 5 janvier 2018 –
Hubert Wassner, notre chief Data Scientist a été interrogé par actuIA.com. Il s’est exprimé sur les projets d’AB Tasty mais également de l’évolution du test A/B et du métier de datascientist ou encore de l’impact de l’intelligence artificielle dans ce secteur et dans notre société.
AB Tasty s’est fait une place parmi les start-up françaises en proposant des solutions de test A/B et de personnalisation de l’expérience utilisateur. Avec sa levée de fonds de 17 millions d’euros, en mai dernier, la société compte notamment se renforcer aux Etats-Unis.
AB Tasty a également été sélectionnée pour faire partie du programme commun entre Microsoft et INRIA, Microsoft AI Factory, portant sur l’intelligence artificielle et a rejoint la Station F.
Le test A/B a connu une grande évolution depuis quelques années : comment la caractérisez-vous ?
Avec le temps, la pratique du test A/B a été rendue plus facile. Elle a été initiée par les très gros sites internet, qui faisaient cela avec leurs propres moyens. Chez Booking par exemple, même les développeurs font du test A/B.
En France, ces pratiques sont surtout utilisées pour tester des stratégies marketing. Quand un site est déjà bien installé par exemple, il est intéressant que les développeurs testent le site avec les nouvelles fonctionnalités auxquelles ils ont pensé afin de voir celles qui amènent un gain ou non.
Un accès simplifié et une diversification des pratiques et des sujets
L’accès au test A/B a été simplifié car il était réservé jusqu’ici aux très gros. Mais l’évolution du test A/B s’est aussi faite par sa diversification. La pratique et les sujets des test ont en effet évolué.
Une évolution des tests statistiques
Par ailleurs, l’évolution des test A/B a aussi été marquée par l’amélioration des tests statistiques pour répondre aux questions qui se posent sur le web.
Jusqu’à récemment, tout le monde utilisait des tests standards, très scolaires et pas forcément adaptés au contexte du web. On a commencé à modifier les tests statistiques pour avoir des choses plus adaptées à la pratique. Les premiers test ne donnaient des résultats qu’à la fin de l’expérience. Désormais les tests donnent des résultats exploitables durant l’expérience et sont également capables de donner un intervalle de confiance autour du gain apporté, là où les premiers tests étaient juste en capacité de dire qu’il existait une différence.
La problématique des bandits manchots
Un point fondamental de l’évolution des tests A/B a été soulevé par la problématique des bandits manchots. La formulation est assez originale mais il s’agit d’un problème statistique très ancien. Bandit manchot en référence aux machines à sous qui sont décrites comme n’ayant qu’un seul bras mais qui vont quand même vous piquer votre argent.
Si on retraduit cette problématique sur laquelle il y a d’ailleurs un tas de solutions qui ont été proposées, on a différentes versions d’un site web, ce sont nos différentes machines à sou. On sait qu’elles n’ont pas le même taux de retour donc pas le même taux de conversion.
Par conséquent, notre objectif c’est d’essayer de le trouver assez rapidement puisque effectivement pour pouvoir le trouver il faut pouvoir envoyer des visiteurs dessus. Comme pour une machine à sou, ce n’est pas parce que vous avez mis une pièce, tiré dessus et que vous n’avez pas gagné que cette machine ne gagne jamais.
L’intelligence artificielle dans l’évolution du test A/B
Les problématiques de bandits manchots sont un peu de l’online learning c’est à dire qu’on apprend pendant qu’on essaie.
Beaucoup de choses en intelligence artificielle aujourd’hui sont divisées en 2 étapes : une étape d’apprentissage et une étape d’exploitation. Là, c’est un paradigme de machine learning qui est un peu différent dans lequel on considère qu’on veut apprendre directement sur le flux et on veut justement essayer le plus tôt possible de faire les bons choix.
Les étapes d’apprentissage et d’exploitation ont fait glisser en douceur la pratique du test A/B vers des outils d’intelligence artificielle.
Tout cela a fait glisser en douceur la pratique du test A/B vers ces outils d’intelligence artificielle
AB Tasty est en train de travailler sur ce côté IA, notamment en faisant du profiling. Il s’agira d’essayer d’améliorer le test A/B en insérant un certain nombre d’informations obtenues sur le visiteur. La pratique du test A/B est difficile dans le sens où les variations gagnantes ne sont pas si fréquentes. Il y a trois raisons à cela:
- Nous ne sommes plus aux débuts du web. Il y a beaucoup de gens qui ont déjà posé des bases d’User experience ou d’ergonomie de sites web. Les sites de base ne sont donc pas si mal faits et faire encore mieux ce n’est pas si facile.
- Parallèlement, les gens qui ont fait un site ne sont pas les mieux placés pour l’améliorer. Difficile en effet de sortir de ce que l’on a créé et de ce à quoi on a déjà réfléchi. Le test A/B peut donc s’avérer assez difficile et même frustrant.
-
C’est difficile de faire quelque chose qui plait à tout le monde, un ‘One Size Fits All’. À un moment donné, il faut peut-être être capable de proposer de la personnalisation. C’est d’ailleurs l’une des fonctionnalités possibles d’AB Tasty, car ce sont les mêmes technologies.
Du test A/B à la personnalisation
Vous pouvez décider de faire une expérience ‘permanente’. Si votre client est loggé, si vous avez les informations du CRM, vous savez que X est Monsieur Dupont et vous pouvez donc décider de mettre son nom partout. C’est un type de personnalisation qu’AB Tasty peut faire.
L’idée c’est d’essayer de se baser sur toutes les informations à disposition dans un contexte web pour justement essayer d’identifier ces groupes selon certains critères qui permettent de dire qu’un tel préfèrera la variation A ou la variation B. On change à ce moment-là de paradigme dans la mesure où le résultat d’un test A/B initialement c’est une recommandation.
AB Tasty propose cette notion de personnalisation si vous savez déjà les critères que vous souhaitez utiliser. La création de sous-populations est en cours de développement. Nous l’avons déjà fait sur des historiques de données mais maintenant il faut que nous l’industrialisions. Ce côté personnalisation permettrait de pouvoir changer le contenu d’un site à la volée. Si nous pouvons le faire pour du test A/B, nous pouvons le faire pour de la personnalisation.
Il y a deux types de personnalisation:
- La forme basique, avec les infos CRM, qui permet de déclencher une personnalisation lorsqu’un visiteur en particulier se connecte.
- Et une seconde, sur laquelle on travaille, pour réellement créer des segments en fonction du comportement face à différentes variations, suite aux tests. L’intermédiaire que l’on fait déjà c’est sur des segments existants. On va y identifier si le visiteur est sur un ordinateur, un téléphone ou une tablette. On a ainsi des petits segments natifs, basics, et on peut y tester s’il y a des sous-populations qui se comporteraient différemment.
Quelle est la proportion de sites internet qui utilisent des méthodes scientifiques telles que celles proposées par AB Tasty pour optimiser leur taux de conversion ? Et quelles sont les réactions des entreprises face à ces solutions numériques ?
Il y a de tout. Les grands acteurs du web sont généralement les plus avancés et peuvent même avoir des équipes dédiées à ça, le CRO OUI.sncf par exemple a une équipe qui ne fait que des tests pour optimiser le site. Cela dépend des métiers car certaines marques sont très avancées sans pour autant faire partie des très gros.
Nous travaillons sur l’apprentissage à travers les statistiques et le nombre de visiteurs que vous avez est fondamental. Si vous avez un nombre de visiteurs très faible, vous n’allez pas pouvoir faire beaucoup en termes de découverte et d’analyse statistique. Vous pourrez tout de même commander de la personnalisation selon certains éléments, mais on est pas vraiment dans l’optimisation.
Il faut du trafic pour pouvoir prouver statistiquement.
En France, ce sont parfois encore des pratiques que nous sommes obligés d’expliciter. Les entreprises peuvent connaître mais ont encore besoin d’être ‘évangélisées’, qu’on leur explique ce que c’est, combien elles vont pouvoir gagner, etc. Elles n’ont pas forcément de vision donc il faut les accompagner.
Pour découvrir l’interview complet d’Hubert Wassner sur ActuIA.com par Johanna Diaz, cliquez ici : Lire l’article
Suite de l’article et de l’interview à lire ci-après : ActuIA.com
Découvrez notre solution
