Mesurez-vous bien vos tests AB ?

Mesurez-vous bien vos tests AB ?

Vous venez de conduire un test AB sur votre site, mais vous avez l’impression que les résultats en sont décevants :

Vous vous maudissez pour le temps perdu et vous promettez de mieux réfléchir pour votre prochain test et faire plaisir à votre chef qui attend des résultats, des résultats, rien que des résultats !
Par exemple :
Vous avez constaté un taux de rebond fort sur vos fiches produits de votre trafic SEO. C’est à dire que les gens trouvent bien votre site, le produit qu’il cherchait sur votre site, mais qu’ils repartent pour la plupart ailleurs aussitôt.
Visiblement, vous avez un problème, mais ce n’est ni votre prix, ni votre stock, ni un problème technique. Vous décidez donc d’améliorer l’attractivité de votre page en agrandissant la photo principale du produit, en ajoutant des vignettes et en rendant plus légère la charge visuelle de votre page.

Qu’allez-vous mesurer pour savoir si ces fiches produits plaisent plus ?

Le taux de rebond sera un bon indicateur, bien sûr. Le taux de clic aussi, ainsi que le taux de transfo. C’est là l’essentiel, me direz-vous. Mais qu’en tireriez-vous comme conclusion si ces indicateurs restent stables ? Devez-vous pour autant en tirer la conclusion que votre test est un échec ? Pas forcément. Vous devez au contraire scruter plus loin les résultats et essayer d’en savoir plus.
Par exemple, les gens cliquent-ils plus sur l’image principale ? Scrollent-ils plus dans la page ? Leur temps de visite est-il plus long ? Reviennent-ils plus souvent visiter votre site ensuite ? Et pour ceux qui visitent d’autres pages de votre site : quelles pages regardent-ils ?
Ces indicateurs peuvent être positifs et signifier que votre refonte de fiche produit est un succès.
Si les gens regardent plus de produits similaires ou s’intéressent plus à vos conditions de livraisons ou à vos garanties, vous pouvez certainement en conclure que leur intérêt est également supérieur.

En test AB, vous ne pouvez donc pas :

1. Vous contentez de mesurer trop simplement la performance à partir de kpi trop évident. Vous devrez croiser les données et multiplier les mesures (attention cela demande plus de temps, et parfois vous devrez compter à la fois sur votre outil de test AB et votre outil d’analytics pour faire se travail, ce qui peut vite se révéler fastidieux
2. Ne pas prendre du temps de la mesure : certains comportement ne peuvent apparaître qu’au bout d’une semaine, voire beaucoup plus (ex : le taux de revisite). Arrêtez un test trop vite en se basant uniquement sur l’indicateur de confiance est une erreur. Derrière les chiffres se cachent des êtres humains avec des prises de décision parfois longues. Ne négligez pas ces données qui peuvent pourtant avoir une importance cruciale.