Nicolas Friedli

consultant web indépendant

Accueil > Web > Deux leçons de l’A/B Testing

Deux leçons de l’A/B Testing

mardi 27 juin 2017, par Nicolas Friedli

En relisant l’ouvrage A / B Testing: The Most Powerful Way to Turn Clicks Into Customers, je sais que j’ai eu un sourire amusé aux mêmes endroits qu’en première lecture.

Pour rappel, l’A/B Testing, c’est le fait de proposer aléatoirement une version A ou une version B d’une page similaire à un visiteur. Puis de comparer les résultats pour voir si une différence significative s’en dégage.

Le premier sourire concernait les images et les vidéos de la campagne de levée de fonds pour Barack Obama lors de sa première campagne présidentielle. En traduction libre :

Notre équipe a pris les paris sur la variation qui devait produire les meilleurs performances quand à la récolte d’adresses mail. La majorité a parié sur la compilation vidéo des meilleures moments des discours d’Obama. Nous étions convaincs que n’importe quelle vidéo — pas seulement l’image d’Obama, mais aussi sa voix et son message — mènerait les utilisateurs à nous donner leur mail bien mieux qu’avec une simple image.

Nous avions tort.

En réalité, non seulement cette vidéo, mais chaque vidéo était nettement moins performante que chaque image.

Le second sourire est arrivé lors du passage concernant le HiPPO Syndrome ou le syndrome de l’avis de la personne la mieux payée. Le patron aurait un droit d’arbitrage supérieur aux données récoltées. Il aime le bleu ? Alors le site sera bleu... En traduction libre :

L’A/B Testing neutralise l’idéologie et la remplace par l’empirique. Au lieu de dire « Je sens que nous devrions faire X parce que c’est ce que je ressens », une culture de l’A/B Testing encourage à la fois la curiosité et l’humilité. Les personnes disent alors « Je pose l’hypothèse que X sera meilleur que notre choix actuel. Je n’ai pas encore de données pour le moment, mais je vais faire un test et j’en disposerai alors. » À la suite de ce test, je pourrai dire avec aplomb : « Je sais que l’on devrait choisir X parce que c’est de toute évidence le meilleur choix ! »

Je regrette de ne pas avoir de site avec les audiences de ceux d’Obama. Je n’ai pas le plaisir de me faire surprendre par des résultats contraire à mes intuitions, forcément mauvaises...