Si le nombre de visiteurs sur votre site web n’est pas aussi Ă©levĂ© que vous l’espĂ©riez, cela ne signifie pas que vous devez abandonner vos objectifs CRO.
À ce stade, vous avez probablement remarqué que la plupart des conseils en matière de CRO sont adaptés aux sites web à fort trafic. Heureusement, cela ne veut pas dire que vous ne pouvez pas optimiser ce dernier, même en ayant un trafic plus faible.
La vĂ©ritĂ© est que n’importe quel site web peut ĂŞtre optimisĂ© : il vous suffit d’adapter votre stratĂ©gie d’optimisation Ă votre situation spĂ©cifique.
Dans cet article, nous aborderons :
- Le mĂ©contentement le plus courant concernant le CRO (le seuil de certitude de 95 % et d’oĂą il provient)
- Un seuil approprié pour un faible trafic
- Des idĂ©es sur le façon d’optimiser sur votre site web avec un flux de trafic rĂ©duit
- La technique de test CUPED
- Quand la technique CUPED fonctionne et ne fonctionne pas
Commençons par une analogie
Pour faciliter la compréhension de cet article, commençons par une analogie. Imaginez : plutôt que de mesurer deux variations et de choisir un gagnant, nous mesurons les performances de deux boxeurs et plaçons des paris sur qui remportera les 10 prochains rounds.
Comment choisir sur qui parier ?
Imaginons que le boxeur A et le boxeur B soient tous les deux des dĂ©butants que personne ne connaĂ®t. Après le premier round, vous devez faire votre choix. En fin de compte, vous allez très probablement parier sur le boxeur qui a remportĂ© le premier round. Cela peut ĂŞtre risquĂ© si la marge de victoire est faible, mais en fin de compte, vous n’avez pas d’autre moyen de prendre votre dĂ©cision.
Maintenant, imaginez que le boxeur A est connu comme un champion, et le boxeur B est un challenger que vous ne connaissez pas. Votre connaissance sur le boxeur A est ce que l’on appelle un « prior », Ă savoir des informations que vous obtenez en amont et qui influencent votre dĂ©cision.
Sur la base de cette connaissance préalable, vous serez plus enclin à parier sur le boxeur A en tant que champion pour les prochains rounds, même si le boxeur B remporte le premier round avec une marge très faible.
De plus, vous ne choisirez le boxeur B comme champion prĂ©dit que s’il remporte le premier round avec une marge importante. Plus votre connaissance prĂ©alable est forte, plus la marge doit ĂŞtre grande pour vous convaincre de changer votre pari.
Vous suivez ? Si c’est le cas, les paragraphes suivants seront faciles Ă comprendre et vous comprendrez vite d’oĂą vient ce « seuil de 95 % ».
Maintenant, passons aux conseils pour optimiser votre site web Ă faible trafic.
1. RĂ©soudre le problème : « Je n’atteins jamais le seuil de certitude de 95% »
C’est le mĂ©contentement qui revient le plus souvent concernant le CRO sur des sites web Ă faible trafic et sur les pages Ă faible trafic de plus grands sites web.
Avant d’approfondir ce problème, commençons par rĂ©pondre Ă la question suivante : d’oĂą vient cette « règle d’or » des 95% ?
L’origine du seuil de certitude de 95%
Commençons notre explication avec une idĂ©e très simple : que se passerait-il si les stratĂ©gies d’optimisation Ă©taient appliquĂ©es dès le premier jour ? Si deux variantes sans historique Ă©taient créées en mĂŞme temps, il n’y aurait pas de version « originale » contestĂ©e par un nouvel arrivant.
Cela vous obligerait à choisir la meilleure dès le départ.
Dans ce cas, la moindre diffĂ©rence de performance pourrait ĂŞtre prise en compte pour prendre une dĂ©cision. Après un court test, vous choisiriez la variante avec la meilleure performance. Il ne serait pas bon de choisir la variante qui a une performance infĂ©rieure et, de plus, ce serait insensĂ© d’attendre un seuil de certitude de 95% pour choisir un gagnant.
Mais en pratique, l’optimisation est rĂ©alisĂ©e bien après le lancement d’une entreprise.
Ainsi, dans la réalité, il existe une version A qui existe déjà et un nouveau challenger (version B) qui est créé.
Si le nouveau challenger (la version B) arrive et que la diffĂ©rence de performance entre les deux variantes n’est pas significative, vous n’aurez aucun problème Ă dĂ©clarer que la version B n’est « pas un gagnant ».
Les tests statistiques sont symĂ©triques. Donc, si nous inversions les rĂ´les, en Ă©changeant A et B dans le test statistique, cela indiquerait que l’original n’est pas significativement meilleur que le challenger. L’aspect « non concluant » du test est symĂ©trique.
Alors, pourquoi orientez-vous 100% du trafic vers l’original Ă la fin d’un test non concluant, en dĂ©clarant implicitement A comme gagnant ? Parce que vous avez pris en compte trois connaissances prĂ©alables :
- La version A était le choix initial. Il a été élaboré par le créateur de la page.
- La version A a déjà été mise en œuvre et techniquement approuvée. La version B n’est généralement qu’une maquette.
- La version A dispose de nombreuses données pour prouver sa valeur, tandis que B est un challenger avec des données limitées qui ne sont collectées que pendant la période de test.
Les points 1 et 2 sont les bases d’une stratĂ©gie de CRO, vous devrez donc aller au-delĂ de ces deux points. Le point 3 explique que la version A dispose de plus de donnĂ©es pour Ă©tayer sa performance. Cela permet de comprendre pourquoi vous faites plus confiance Ă la version A qu’Ă la version B.Â
Maintenant, vous comprenez que cette règle de seuil de certitude fixĂ© Ă 95% est une façon d’expliquer des connaissances prĂ©alables. Et celles-ci proviennent principalement des donnĂ©es historiques.
Par consĂ©quent, lors de l’optimisation d’une page Ă faible trafic, votre seuil de certitude devrait ĂŞtre infĂ©rieur Ă 95% car vos connaissances sur A sont plus faibles en raison de son trafic et de son anciennetĂ©.
Ce seuil devrait ĂŞtre dĂ©fini en fonction du volume du trafic qui a traversĂ© le site web depuis son premier jour. Le problème avec cette approche, c’est que nous savons que les taux de conversion ne sont pas stables et qu’ils peuvent changer avec le temps. Pensez Ă la saisonnalitĂ©, par exemple l’afflux du Black Friday, les jours de congĂ©, les pĂ©riodes de NoĂ«l oĂą l’activitĂ© augmente, etc. En raison de ces variations saisonnières, il n’est pas possible de comparer les performances Ă des pĂ©riodes diffĂ©rentes.
C’est pourquoi les professionnels ne tiennent compte que des donnĂ©es pour la version A et la version B collectĂ©es pendant la mĂŞme pĂ©riode, et ils fixent un seuil de certitude Ă©levĂ© (95%) pour accepter le challenger comme gagnant afin de formaliser les connaissances prĂ©alables solides en faveur de la version A.
Quel est le seuil de décision approprié lors d’un faible trafic ?
Il est difficile de suggérer un chiffre exact sur lequel se concentrer car cela dépend de votre tolérance au risque.
Selon le protocole de la mĂ©thode de  » test d’hypothèse », on doit fixer une pĂ©riode de collecte de donnĂ©es, et analyser seulement Ă la fin de cette pĂ©riode.
Cela signifie que le critère d’arrĂŞt d’un test n’est pas une mesure statistique ou basĂ©e sur un nombre spĂ©cifique. Le critère d’arrĂŞt devrait ĂŞtre une pĂ©riode de temps qui se termine. Une fois la pĂ©riode terminĂ©e, vous devez examiner les statistiques pour prendre une dĂ©cision appropriĂ©e.
AB Tasty, notre logiciel d’optimisation de l’expĂ©rience client et de feature management, utilise la mĂ©thode bayĂ©sienne qui produit un indice de « chance de gagner”. Cet indice permet une interprĂ©tation directe des chances de gagner, plutĂ´t que d’obtenir une P valeur qui elle a une signification très complexe.
En d’autres termes, l’indice de « chance de gagner » est la probabilitĂ© qu’une variation donnĂ©e soit meilleure que l’original.
Par consĂ©quent, une « chance de gagner » de 95% signifie qu’il y a une probabilitĂ© de 95% que la variation donnĂ©e soit gagnante. Cela suppose que nous n’avons ni connaissance prĂ©alable, ni confiance spĂ©cifique dans l’original.
Le seuil de 95% lui-mĂŞme est Ă©galement un compromis par dĂ©faut entre la connaissance prĂ©alable que vous avez sur l’original et un certain niveau de tolĂ©rance au risque (cela aurait mĂŞme pu ĂŞtre un seuil de 98%).
Bien qu’il soit difficile de donner un chiffre exact, voici une Ă©chelle approximative pour votre seuil :
- Nouvelles variations A et B : si vous avez un cas oĂą la variation A et la variation B sont toutes les deux nouvelles, le seuil peut ĂŞtre très bas, jusqu’à 50 %. S’il n’y a pas de donnĂ©es antĂ©rieures sur les performances des variations et que vous devez faire un choix pour la mise en Ĺ“uvre, mĂŞme une chance de gagner de 51 % est meilleure que 49 %.
- Nouveau site web, faible trafic : si votre site web est nouveau et a très peu de trafic, vous avez probablement très peu de connaissances prĂ©alables sur la variation A (ici, la variation d’origine). Dans ce cas, fixer un seuil de 85 % est raisonnable. Cela signifie que si vous mettez de cĂ´tĂ© ce que vous savez dĂ©jĂ sur l’original, vous avez encore 85 % de chance de choisir le gagnant et seulement 15 % de chance de choisir une variation Ă©quivalente Ă l’original (avec une chance encore moindre qu’elle se comporte moins bien). Selon le contexte, un tel pari peut avoir du sens.
- Entreprise mature, faible trafic : si votre entreprise a une longue histoire mais un trafic faible, un seuil de 90 % est raisonnable. C’est parce qu’il y a encore peu de connaissances antĂ©rieures sur l’original.
- Entreprise mature, trafic élevé : si vous disposez de nombreuses données ou de connaissances préalables sur la variation A, un seuil de 95 % est approprié.
Le seuil d’origine de 95 % est bien trop Ă©levĂ© si votre entreprise a un faible trafic, car il y a peu de chances que vous l’atteigniez. Par consĂ©quent, votre stratĂ©gie CRO n’aura aucun effet, et la prise de dĂ©cision basĂ©e sur les donnĂ©es devient impossible.
En utilisant AB Tasty comme plateforme d’expĂ©rimentation, vous recevrez un rapport comprenant la « chance de gagner » ainsi que d’autres informations statistiques concernant vos expĂ©riences. Il inclurait Ă©galement l’intervalle de confiance sur le gain estimĂ©, qui est un indicateur important. Les limites autour du gain estimĂ© sont Ă©galement calculĂ©es de manière bayĂ©sienne, ce qui signifie qu’elles peuvent ĂŞtre interprĂ©tĂ©es comme le meilleur et le pire scĂ©nario.Â
L’importance des statistiques bayĂ©siennes
Maintenant que vous comprenez le sens précis du niveau de « certitude » de 95%, pourtant bien connu, vous êtes en mesure de sélectionner des seuils appropriés correspondant à votre cas particulier.
Il est important de se rappeler que cette approche ne fonctionne qu’avec les statistiques bayĂ©siennes, car l’approche frĂ©quentiste fournit des indices statistiques (tels que les P valeurs et les intervalles de confiance) qui ont un sens totalement diffĂ©rent et ne conviennent pas Ă la logique expliquĂ©e.
2. Les statistiques sont-elles valables avec de petits nombres ?
Oui, elles sont valables tant que vous ne mettez pas fin au test en fonction du résultat. Vous pouvez ignorer le readiness shield.
Rappelez-vous que le protocole de test indique qu’une fois que vous avez dĂ©cidĂ© d’une pĂ©riode de test, la seule raison de l’arrĂŞter est lorsque ce dĂ©lai est Ă©coulĂ©. Dans ce cas, les indices statistiques (« chance de gagner » et intervalle de confiance) sont vrais et utilisables.
Vous pensez peut-ĂŞtre : « D’accord, mais j’atteins rarement le seuil de certitude de 95%… »
Rappelez-vous que le seuil de 95% n’a pas besoin d’ĂŞtre le chiffre magique pour tous les cas. Si vous avez peu de trafic, il est probable que votre site web soit rĂ©cent. Si vous vous rĂ©fĂ©rez au point prĂ©cĂ©dent, vous pouvez consulter notre Ă©chelle suggĂ©rĂ©e pour diffĂ©rents scĂ©narios.
Si vous avez peu de trafic en tant que nouvelle entreprise, vous pouvez certainement passer Ă un seuil plus bas (comme 90%). Le seuil est encore assez Ă©levĂ© car il est courant d’avoir plus confiance en une version originale qu’en une variante car elle est utilisĂ©e depuis plus longtemps.
Si vous avez affaire Ă deux variantes totalement nouvelles, Ă la fin de votre pĂ©riode de test, il sera plus facile de choisir la variante avec le plus grand nombre de conversions (sans utiliser un test statistique) puisqu’il n’y a aucune connaissance prĂ©alable de la performance de A ou B.
3. Faire le chemin Ă l’envers
Parfois, le problème de trafic n’a pas pour cause un site web à faible trafic, mais plutôt une page web. En effet, dans la plupart des cas, les pages avec un faible trafic se situent à la fin du funnel d’achat.
Dans ce cas, une excellente stratĂ©gie consiste Ă travailler sur l’optimisation de celui-ci. Une première solution peut se trouver en cherchant Ă optimiser le parcours client digital tout au long du funnel.
4. Est-ce que la technique CUPED fonctionne vraiment ?
Qu’est-ce que CUPED ?
Controlled Experiment Using Pre-Experiment Data est un terme Ă la mode dans le domaine de l’expĂ©rimentation. CUPED est une technique qui prĂ©tend produire des rĂ©sultats jusqu’Ă 50% plus rapidement. Cela est très attrayant pour les sites Web Ă faible trafic.
Est-ce que CUPED fonctionne vraiment aussi bien ?
Pas exactement, pour deux raisons : l’une est organisationnelle et l’autre est liĂ©e Ă son application.
La contrainte organisationnelle
Ce qui est souvent oubliĂ©, c’est que CUPED signifie Controlled experiment Using Pre-Experiment Data.
En pratique, la période idéale pour collecter des « Pre-Experiment Data » est de deux semaines pour espérer une réduction de temps de 50%.
Ainsi, pour un test classique de 2 semaines, CUPED prétend que vous pouvez mettre fin au test en seulement 1 semaine.
Cependant, pour pouvoir observer correctement vos rĂ©sultats, vous aurez besoin de deux semaines de donnĂ©es prĂ©-expĂ©rimentation. En rĂ©alitĂ©, vous devez donc disposer de trois semaines pour mettre en Ĺ“uvre CUPED afin d’obtenir la mĂŞme prĂ©cision qu’un test classique de 2 semaines.
Oui, vous avez bien lu. En fin de compte, vous aurez besoin de trois semaines pour mener à bien une expérimentation.
En d’autres termes, cette mĂ©thode n’est utile que si vous disposez dĂ©jĂ de deux semaines de donnĂ©es de trafic non exposĂ©es Ă une quelconque expĂ©rience. Mais si vous pouvez planifier deux semaines sans expĂ©rimentations dans votre roadmap pour collecter des donnĂ©es, cela bloquera le trafic pour d’autres expĂ©riences.
La contrainte d’application
En plus de la contrainte organisationnelle/liée à la période des deux semaines, il existe deux autres prérequis pour que CUPED soit efficace :
- CUPED s’applique uniquement aux visiteurs parcourant le site Ă la fois pendant la pĂ©riode de prĂ©-expĂ©rimentation et la pĂ©riode expĂ©rimentale.
- Ces visiteurs doivent avoir le même comportement par rapport au KPI. Les données des visiteurs doivent être corrélées entre les deux périodes.
Vous constaterez dans le paragraphe suivant que ces deux contraintes rendent CUPED pratiquement impossible pour les sites de e-commerce et ne s’appliquent qu’aux plateformes.
Revenons Ă notre exemple de configuration d’expĂ©rimentation :
- Deux semaines de données pré-expérimentation.
- Deux semaines de donnĂ©es d’expĂ©rimentation (que nous espĂ©rons ne durer qu’une semaine grâce Ă la rĂ©duction de temps de 50% supposĂ©e).
- L’objectif d’optimisation est une transaction : augmenter le nombre de conversions.
La contrainte numéro 1 stipule qu’il faut avoir les mêmes visiteurs pendant la période de pré-expérimentation et d’expérimentation. Or, le parcours du visiteur dans le secteur du e-commerce dure généralement une semaine.
En d’autres termes, il y a très peu de chances que vous voyiez les mĂŞmes visiteurs dans les deux pĂ©riodes. Ainsi, on ne peut s’attendre qu’Ă un effet très limitĂ© de CUPED (limitĂ© Ă la portion de visiteurs observĂ©s dans les deux pĂ©riodes).
La contrainte numĂ©ro 2 stipule que les visiteurs doivent avoir le mĂŞme comportement en ce qui concerne la conversion (par rapport au KPI en cours d’optimisation). HonnĂŞtement, cette contrainte n’est tout simplement jamais respectĂ©e dans le e-commerce.
La conversion dans le e-commerce se produit soit pendant la pĂ©riode de prĂ©-expĂ©rimentation, soit pendant la pĂ©riode expĂ©rimentale, mais pas dans les deux cas (Ă moins que votre client effectue frĂ©quemment plusieurs achats pendant la pĂ©riode de l’expĂ©rience).
Cela signifie qu’il n’y a aucune chance que les conversions des visiteurs soient corrĂ©lĂ©es entre les pĂ©riodes.
En rĂ©sumĂ© : CUPED n’est tout simplement pas applicable aux sites e-commerce pour optimiser les transactions.
Cela est clairement indiquĂ© dans l’article scientifique d’origine, mais dans un souci de popularitĂ©, cette technique de buzzword est prĂ©sentĂ©e de manière erronĂ©e dans l’industrie des tests.
En réalité, CUPED fonctionne uniquement pour les conversions multiples sur des plateformes qui ont des visiteurs récurrents effectuant les mêmes actions.
Les grandes plateformes adaptĂ©es Ă CUPED seraient les moteurs de recherche (comme Bing, oĂą il a Ă©tĂ© inventĂ©) ou les plateformes de streaming oĂą les utilisateurs viennent quotidiennement et effectuent les mĂŞmes actions rĂ©pĂ©tĂ©es (lecture d’une vidĂ©o, clic sur un lien dans une page de rĂ©sultats de recherche, etc.).
Mais si vous essayez de trouver une application de CUPED dans le domaine du e-commerce, vous vous rendrez rapidement compte que ce n’est tout simplement pas possible.
- On pourrait essayer d’optimiser le nombre de produits consultĂ©s, mais le problème de la contrainte 1 reste applicable : un très petit nombre de visiteurs sera prĂ©sent dans les deux ensembles de donnĂ©es. De plus, il y a une objection encore plus fondamentale : ce KPI ne devrait pas ĂŞtre optimisĂ© en lui-mĂŞme, sinon vous encouragez potentiellement l’hĂ©sitation entre les produits.
- Vous ne pouvez mĂŞme pas essayer d’optimiser le nombre de produits achetĂ©s par les visiteurs avec CUPED car la contrainte numĂ©ro 2 reste valable. L’acte d’achat peut ĂŞtre considĂ©rĂ© comme instantanĂ©. Par consĂ©quent, il ne peut se produire que dans une pĂ©riode ou l’autre, pas les deux. S’il n’y a pas de corrĂ©lation attendue dans le comportement des visiteurs, il n’y a alors aucun effet CUPED Ă attendre.
Conclusion sur CUPED
En conclusion, CUPED ne fonctionne pas pour les sites de e-commerce oĂą une transaction est l’objectif principal d’optimisation. Ă€ moins d’ĂŞtre Bing, Google ou Netflix, CUPED ne sera pas l’ingrĂ©dient secret pour vous aider Ă optimiser votre activitĂ©.
Cette technique est certainement un mot Ă la mode qui suscite rapidement l’intĂ©rĂŞt. Cependant, il est important d’avoir une vision plus globale avant de vouloir ajouter CUPED Ă votre feuille de route. Les marques de e-commerce devront prendre en compte le fait que cette technique de test ne convient pas Ă leur entreprise.
Optimisation pour les sites Ă faible trafic
Les marques ayant un faible trafic sont toujours des candidats privilĂ©giĂ©s pour l’optimisation de leur site web, mĂŞme si elles doivent adopter une approche lĂ©gèrement diffĂ©rente de la mĂ©thode traditionnelle.
Que cela implique de choisir une page plus haut dans le funnel d’achat ou d’adopter un seuil de certitude lĂ©gèrement plus bas, l’optimisation continue est cruciale.
Vous souhaitez commencer Ă optimiser votre site Web ? AB Tasty est la plateforme d’optimisation de l’expĂ©rience best-in-class qui vous permet de crĂ©er une expĂ©rience digitale enrichie rapidement. De l’expĂ©rimentation Ă la personnalisation, cette solution peut vous aider Ă activer et Ă engager votre public pour stimuler vos conversions.
Vous pouvez trouver le lien de l’article original ici.















































































