Les pièges de l'analyse : regards répétés, comparaisons multiples, nouveauté, SRM, Simpson
Un test bien conçu peut encore mener à une conclusion fausse si son analyse tombe dans l'un des pièges classiques. La leçon vous apprend à les repérer dans un résultat ou un compte rendu, à contrôler la répartition entre groupes et à choisir la bonne parade. Vous évitez de déployer une variante qui n'a gagné que par hasard.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de repérer dans un test ou son compte rendu les regards répétés, les comparaisons multiples, un effet de nouveauté, un déséquilibre des groupes ou un paradoxe de Simpson, de vérifier un déséquilibre par le calcul, et de choisir la parade adaptée.
Thèmes abordés
- regards répétés
- comparaisons multiples
- effet de nouveauté
- sample ratio mismatch
- paradoxe de Simpson
Dans quel module
Analyser le résultat
Comment lire un résultat de test sans surinterpréter ni passer à côté d'un problème ?
Leçons du module
- Lire une p-valeur et un intervalle de confiance
- Les pièges de l'analyse : regards répétés, comparaisons multiples, nouveauté, SRM, Simpson (cette leçon)
- Bayésien ou fréquentiste, et quel outil choisir
Ce que vous apprendrez dans la formation
Cette leçon fait partie de la formation Concevoir et analyser un A/B test
- Décider si un A/B test est la bonne méthode (volume, B2B, réversibilité, délai, éthique) et choisir une alternative adaptée sinon.
- Formuler une hypothèse testable, choisir une métrique principale sensible et attribuable, des garde-fous et l'événement d'exposition à enregistrer.
- Choisir l'unité de randomisation et prévenir les interférences entre groupes, y compris en B2B.
- Calculer une taille d'échantillon et une durée à partir du taux de base, de l'effet minimal détectable, du seuil de significativité et de la puissance.
- Analyser un résultat (p-valeur, intervalle de confiance, significativité pratique, garde-fous) et lire une sortie bayésienne ou fréquentiste d'un outil.
- Détecter et éviter les pièges d'analyse (regards répétés, comparaisons multiples, effet de nouveauté, déséquilibre des groupes, paradoxe de Simpson).
- Décider à partir de règles écrites avant le test et documenter l'expérience dans un mémo réutilisable.
Formations liées
- Concevoir et valider une expérience produit avec l'IAJunior · ~2 h 30 min
- Écrire des specs que les développeurs et les agents IA comprennentConfirmé · ~2 h 30 min
- Instrumenter un produit et utiliser les données pour déciderConfirmé · ~3 h 30 min