Google Optimize, un avis de Data Scientist…

Google Optimize, la version gratuite de Google Optimize 360, sera bientôt disponible. Ce lancement est-il de nature à bouleverser le marché des solutions SaaS de testing dont AB Tasy est le fer de lance en France ?

Quand Google entre sur un marché, ça ne passe généralement pas inaperçu surtout quand le produit est proposé gratuitement à l’instar de Google Analytics. Que faut-il donc attendre de Google Optimize ? Pour rappel, il s’agira de la version gratuite de Google Optimize 360 dont le prix d’entrée semble être aux alentours de 150 000 $ / an.

Je tiens à préciser que je ne suis pas totalement impartial dans cette réflexion car je suis Chief Data Scientist chez AB Tasty, une solution concurrente, leader sur le marché Français des solutions de testing et de personnalisation pour sites web & applications mobiles. Je vais toutefois essayer d’être honnête dans cette comparaison.

Je ne vais pas me lancer dans un comparatif précis des fonctionnalités proposées mais aborder ici uniquement mon point de vue orienté « Data ». Sachez cependant que ni la version gratuite, ni la version payante d’Optimize ne proposent de tests multi-pages, très utiles pour tester des tunnels de conversion, ou encore de tests sur applications mobiles.

La principale limitation à mon sens de Google Optimize tient au fait que la solution, s’appuyant sur l’infrastructure de Google Analytics, ne gère pas la notion d’unicité du visiteur et ne raisonne qu’au niveau de la session. La durée de celle-ci est fixée par défaut à 30 minutes et peut être étendue à 4 heures, mais pas plus ! Concrètement, si un visiteur visite 2 fois le site à un jour d’intervalle ou visite le site le matin et en fin de journée, il sera comptabilisé comme 2 visiteurs distincts.

Ce mode de comptabilisation a 2 conséquences : 

  • Les taux de conversion mesurés seront bien inférieurs à la réalité. C’est gênant mais on peut s’en accommoder.
  • Il est impossible de mesurer les gains de manière précise. Là, c’est bien plus gênant…

Voyons cela en détail…

Les taux de conversion mesurés seront bien inférieurs

Les internautes consultent un site à plusieurs reprises avant de convertir. Pour la conversion d’un internaute donné, Google Analytics et par extension Google Optimize enregistreront plusieurs sessions différentes qui ne seront pas « ré-unifiées ». Hormis la visite au cours de laquelle la conversion a lieu, toutes les autres seront comptabilisées comme des « échecs » i.e. des visites sans conversion. En augmentant le dénominateur, le taux de réussite sera naturellement bien inférieur. Le taux de conversion est donc mesuré par visite et non pas par visiteur.

On peut passer outre cette limitation si on accepte de raisonner en valeur relative plutôt qu’en valeur absolue et si l’important est d’identifier l’existence d’une différence de taux de conversion, quelle que soit la valeur exacte de cet indicateur. Le modèle bayésien d’analyse statistique utilisé par Google Optimize (et AB Tasty) supporte d’ailleurs assez bien cette approximation. On peut le tester ici : https://www.peakconversion.com/2012/02/ab-split-test-graphical-calculator/

Supposons avoir 100 visiteurs sur chaque variation, avec 10 conversions pour la variation A et 15 pour B.


En se basant sur ces hypothèses, la variation A a 14% de chance d’être la meilleure contre 86% pour la variation B (chiffres de l’avant dernière colonne).

Supposons maintenant que ces conversions sont réalisées en moyenne après 2 visites. On double le nombre de « trials » pour simuler un taux de conversion par session et non par visiteur.


Les résultats sont globalement similaires, avec seulement 1% de différence avec l’analyse précédente. Donc, si on ne s’intéresse qu’à l’existence d’une différence (et pas à son ampleur) alors la gestion par session (et non par visiteur unique), n’est pas très gênante.

Note : Cette conclusion n’est vraie que si le nombre de revisites par visiteur unique est à peu près le même selon les variations mais rien ne nous l’assure vraiment.

Il est impossible de mesurer précisément les intervalles de confiance du gain avec l’approche par session

L’intervalle de confiance du gain est très important dans l’analyse des résultats d’un test et surtout dans la prise de décision car il permet de prédire la meilleure et la pire des situations que l’on pourrait rencontrer lors de la mise en production de la variation annoncée comme gagnante.

Pour cela je vais utiliser un autre outil, qui fait le même type de calcul bayésien, mais illustre la distribution du gain potentiel : http://developers.lyst.com/bayesian-calculator/

Voici ce que l’on obtient avec les même chiffres que l’exemple précédent :

  • 100 visites, 10 succès pour la variation A
  • 100 visites, 15 succès pour la variation B

Google Optimize - Graph 1

Cette courbe représente la répartition possible de la vraie valeur du gain apportée par la variation B.
L’intervalle de confiance à 95%, c’est à dire l’intervalle qui a 95% de chance de contenir la vraie valeur du gain, est d’environ [ -0.05 ; +0.15 ] ( il s’agit des bornes contenant 95% de la surface de la zone bleue). L’intervalle étant globalement plus positif que négatif, on fait la même conclusion que précédemment : B est probablement la variation gagnante, mais attention il persiste encore une zone de doute (B peut encore avoir ~15% de chance d’être gagnante).

Supposons maintenant qu’il faut en moyenne 2 visites avant la conversion, alors on double le nombre de ‘trials » comme dans l’exemple précédent pour avoir des données tels qu’Optimize les verrait.

Et voici ce qu’on obtient pour la courbe de distribution des gains :

Google Optimize - Graph 2
Cette distribution est notablement plus étroite que la précédente, par conséquent l’intervalle de confiance correspondant paraîtra beaucoup plus petit : [ -0.025 ; 0.08 ] et donnera l’impression qu’on a une précision plus fine alors que ce n’est pas le cas puisque le nombre de visiteurs uniques est identique. L’effet sera d’autant plus saisissant si le nombre moyen de sessions avant conversion est important. Le fond du problème est qu’on ne connaît pas le nombre de sessions associées à un visiteur unique, lequel varie également en fonction du business model et du secteur d’activité de l’éditeur ! On est donc dans l’incapacité de calculer ces bornes qui sont pourtant primordiales pour la prise de décision.

En conclusion, avec cette approche par session on peut toujours identifier une variation gagnante et mesurer la probabilité de l’existence d’un gain, mais il est impossible de présager de l’ampleur de ce dernier ! Personnellement je trouve cela très limitant.

Pourquoi ce choix (sous-optimal) ?

Pour tracker un visiteur sur de multiples sessions, il est nécessaire de stocker ses informations de visite coté serveur et cela représente d’énormes volumes de données. Compte tenu de la gratuité de Google Analytics, il est probable que c’est pour des économies de stockage que tout le système est pensé autour des sessions et non des visiteurs uniques. Google Optimize se reposant sur Google Analytics, il n’est donc pas étonnant que ce choix ait été fait. Et cela ne devrait pas changer.

Ma prédiction est que Google Optimize va probablement prendre de belles parts de marché au près des petits éditeurs de sites web qui le choisiront pour les mêmes raisons que Google Analytics, la gratuité du service en tête. Les éditeurs plus matures et pour lesquels l’optimisation des conversions représente un tout autre enjeu, préfèreront sans doute les solutions au positionnement « Enterprise » qui depuis le début ont fait le pari du visiteur unique et supportent par conséquent les coûts nécessaires à une prise de décision plus fine.

L’introduction de Google Optimize sur le marché peut néanmoins représenter une opportunité en accélérant la maturité des éditeurs qui vont se familiariser avec l’A/B testing et avec les notions statistiques – encore obscures pour la plupart d’entre eux. A mesure qu’ils pratiqueront et réaliseront que les gains énoncés à l’issue des tests ne se retrouvent pas toujours après mise en production des variations, ils se tourneront vers des solutions plus complètes, offrant des fonctionnalités dédiées à l’analyse des potentiels de gains.

Hubert Wassner
Hubert est Chief Data Scientist chez AB Tasty. Il a fait de l'analyse de données et du machine learning depuis plus de 20 ans, dans des sujets aussi variés que la reconnaissance de la parole, la biométrie, et l'analyse d'ADN. Il a été aussi professeur en école d'ingénieur. Il a gardé ce goût du partage de connaissance par le biais d'article de blogs et d'interventions publiques

Articles Similaires


Tweetez
Partagez
Partagez
Pocket
Buffer
X