Test A/B
Un test A/B est une expérience contrôlée dans laquelle les utilisateurs sont répartis au hasard entre deux versions ou plus d'une expérience produit, puis comparés sur une métrique choisie à l'avance. Comme la répartition est aléatoire, un écart assez grand pour écarter le hasard peut être attribué au changement lui-même, ce dont une simple comparaison entre deux périodes est incapable. La version A est en général l'expérience actuelle, appelée contrôle, et B la variante.
Pourquoi c’est important pour un PM
Les tests A/B permettent au PM de trancher un débat avec des preuves tirées du comportement réel et de mesurer la taille véritable d'un effet. Ils ont aussi leurs coûts et leurs limites : il faut assez de trafic, du temps, et ils ne répondent qu'à la question pour laquelle ils ont été conçus. Savoir renoncer à un test est une compétence à part entière.
Exemple
Une boutique en ligne teste un formulaire de paiement plus court. Les visiteurs sont répartis au hasard entre l'ancien formulaire et le nouveau, la métrique principale est le nombre de commandes finalisées par visiteur, et le taux de remboursement sert de garde-fou. La taille d'échantillon impose trois semaines, et l'équipe s'engage à attendre jusque-là.
Points clés
- Avant le lancement, mettre par écrit l'hypothèse, la mesure de réussite principale et les métriques qui ne doivent pas se dégrader.
- Choisir l'unité de randomisation (utilisateur, compte, session) pour que le comportement d'un groupe ne déborde pas sur l'autre.
- Dimensionner l'échantillon selon l'effet minimal qui justifierait une décision, puis aller jusqu'au terme prévu.
- Décider selon des règles écrites à l'avance, y compris pour un résultat non concluant.
Erreurs fréquentes
- Arrêter le test dès que le résultat semble significatif, une pratique appelée peeking.
- Tester avec trop peu de trafic pour détecter un effet réaliste.
- Suivre des dizaines de métriques et célébrer celle qui a bougé.
- Ignorer un déséquilibre de répartition (sample ratio mismatch), signe que l'affectation ou le tracking est cassé.
Pour aller plus loin dans Module
Les formations et les leçons qui traitent cette notion :