Concevoir et analyser un A/B test
Décider s’il faut tester, écrire le protocole, dimensionner, analyser sans se tromper et décider.
Savoir quand un A/B test est la bonne méthode, le concevoir pour qu'il réponde vraiment à votre question, puis en lire le résultat sans vous tromper. Vous apprenez à reconnaître les cas où il ne faut pas tester (trop peu de trafic, B2B à petits effectifs) et les alternatives, à écrire une hypothèse, une métrique principale et des garde-fous, à choisir l'unité de randomisation, à calculer une taille d'échantillon et une durée, à interpréter correctement une p-valeur et un intervalle de confiance, à éviter les pièges (regards répétés, comparaisons multiples, effet de nouveauté, déséquilibre des groupes, paradoxe de Simpson), à situer approche bayésienne et fréquentiste, à choisir un outil, puis à décider et documenter. Vous terminez avec le protocole d'une expérience sur votre produit, son analyse et un mémo de décision.
Ce que vous saurez faire
- Décider si un A/B test est la bonne méthode (volume, B2B, réversibilité, délai, éthique) et choisir une alternative adaptée sinon.
- Formuler une hypothèse testable, choisir une métrique principale sensible et attribuable, des garde-fous et l'événement d'exposition à enregistrer.
- Choisir l'unité de randomisation et prévenir les interférences entre groupes, y compris en B2B.
- Calculer une taille d'échantillon et une durée à partir du taux de base, de l'effet minimal détectable, du seuil de significativité et de la puissance.
- Analyser un résultat (p-valeur, intervalle de confiance, significativité pratique, garde-fous) et lire une sortie bayésienne ou fréquentiste d'un outil.
- Détecter et éviter les pièges d'analyse (regards répétés, comparaisons multiples, effet de nouveauté, déséquilibre des groupes, paradoxe de Simpson).
- Décider à partir de règles écrites avant le test et documenter l'expérience dans un mémo réutilisable.
Prérequis
- Avoir déjà travaillé sur un produit numérique en production, avec des données d'usage
- Savoir calculer un pourcentage et lire un tableau ; aucune formation en statistique n'est requise, les calculs sont détaillés pas à pas
- Cours recommandé avant celui-ci : Instrumenter un produit et utiliser les données pour décider, qui couvre le plan de tracking, la qualité des données et les pièges des analyses observationnelles.
- Pour arbitrer entre plusieurs paris avant de les tester, voir la formation Prioriser et construire une roadmap orientée résultats.
Programme
Que vais-je savoir faire à la fin de ce cours, et dans quel ordre ?
- Présentation du cours3 étapes
Objectif · À la fin de cette présentation, vous saurez ce que vous allez produire (le protocole d'une expérience sur votre produit, son analyse et un mémo de décision), quelles deux questions Atelio va trancher tout au long du cours et par quels quatre modules vous y arriverez.
Qu'est-ce qu'un A/B test prouve qu'une analyse ne prouve pas, et quand vaut-il mieux s'en passer ?
Objectif · À la fin de cette leçon, vous serez capable d'expliquer pourquoi une comparaison avant-après ou entre utilisateurs et non-utilisateurs ne mesure pas l'effet d'un changement, ce que la randomisation apporte, et d'employer correctement le vocabulaire d'un A/B test (contrôle, variante, unité, exposition).
Objectif · À la fin de cette leçon, vous serez capable d'estimer si le volume disponible permet un A/B test (effet minimal détectable), de reconnaître les autres cas où un test n'est pas la bonne méthode, et de choisir une alternative adaptée, en particulier en B2B.
Que faut-il fixer avant de lancer le test pour que son résultat soit lisible et crédible ?
Objectif · À la fin de cette leçon, vous serez capable d'écrire une hypothèse testable et chiffrée, de choisir une métrique principale sensible et attribuable, des garde-fous avec leur seuil, et de spécifier l'événement d'exposition à enregistrer.
- Choisir l'unité de randomisation4 étapes
Objectif · À la fin de cette leçon, vous serez capable de choisir l'unité à tirer au sort (utilisateur, compte, session, objet métier, grappe) en arbitrant entre cohérence de l'expérience, interférence et nombre d'unités, et de repérer les cas B2B et place de marché où les groupes s'influencent.
Objectif · À la fin de cette leçon, vous serez capable de calculer à la main et avec un calculateur gratuit la taille d'échantillon d'un test sur un taux, à partir du taux de base, de l'effet minimal détectable, du seuil et de la puissance, d'en déduire une durée en semaines complètes, et de savoir quoi faire si elle est hors de portée.
Comment lire un résultat de test sans surinterpréter ni passer à côté d'un problème ?
Objectif · À la fin de cette leçon, vous serez capable de calculer l'écart entre deux taux, son intervalle de confiance à 95 % et sa p-valeur, de les interpréter correctement (et de repérer les interprétations fausses), et de juger si l'effet est assez grand pour compter, garde-fous compris.
Objectif · À la fin de cette leçon, vous serez capable de repérer dans un test ou son compte rendu les regards répétés, les comparaisons multiples, un effet de nouveauté, un déséquilibre des groupes ou un paradoxe de Simpson, de vérifier un déséquilibre par le calcul, et de choisir la parade adaptée.
Objectif · À la fin de cette leçon, vous serez capable d'expliquer à une équipe la différence entre une lecture fréquentiste et une lecture bayésienne d'un test, de lire la sortie d'un outil dans les deux cadres, et de choisir un outil d'expérimentation adapté à vos contraintes, avec une voie gratuite.
Comment transformer un résultat en décision, et le test en apprentissage durable ?
Objectif · À la fin de cette leçon, vous serez capable d'appliquer une règle de décision écrite avant le test à un résultat concluant, négatif ou non concluant, de prévoir la suite (déploiement, groupe témoin durable, nouvelle itération), et de rédiger un mémo d'expérience réutilisable.
Objectif · À la fin de cette leçon, vous aurez rédigé sur votre produit le protocole d'une expérience (ou un plan alternatif argumenté), analysé un résultat réel ou le jeu d'entraînement fourni, rédigé le mémo de décision, auto-évalué l'ensemble avec une grille, et vous repartirez avec un kit de sortie et un plan à 7 et 30 jours.