Lire une p-valeur et un intervalle de confiance
La p-valeur est l'un des chiffres les plus mal lus des revues produit, et ces erreurs mènent à des déploiements injustifiés. Cette leçon vous apprend à analyser un A/B test en lisant l'écart observé, puis l'intervalle de confiance et la p-valeur, sans contresens. Vous savez ensuite si l'effet mérite un déploiement, sans oublier les garde-fous.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de calculer l'écart entre deux taux, son intervalle de confiance à 95 % et sa p-valeur, de les interpréter correctement (et de repérer les interprétations fausses), et de juger si l'effet est assez grand pour compter, garde-fous compris.
Thèmes abordés
- p-valeur
- intervalle de confiance
- significativité statistique
- significativité pratique
- analyser un A/B test
Dans quel module
Analyser le résultat
Comment lire un résultat de test sans surinterpréter ni passer à côté d'un problème ?
Leçons du module
- Lire une p-valeur et un intervalle de confiance (cette leçon)
- Les pièges de l'analyse : regards répétés, comparaisons multiples, nouveauté, SRM, Simpson
- Bayésien ou fréquentiste, et quel outil choisir
Ce que vous apprendrez dans la formation
Cette leçon fait partie de la formation Concevoir et analyser un A/B test
- Décider si un A/B test est la bonne méthode (volume, B2B, réversibilité, délai, éthique) et choisir une alternative adaptée sinon.
- Formuler une hypothèse testable, choisir une métrique principale sensible et attribuable, des garde-fous et l'événement d'exposition à enregistrer.
- Choisir l'unité de randomisation et prévenir les interférences entre groupes, y compris en B2B.
- Calculer une taille d'échantillon et une durée à partir du taux de base, de l'effet minimal détectable, du seuil de significativité et de la puissance.
- Analyser un résultat (p-valeur, intervalle de confiance, significativité pratique, garde-fous) et lire une sortie bayésienne ou fréquentiste d'un outil.
- Détecter et éviter les pièges d'analyse (regards répétés, comparaisons multiples, effet de nouveauté, déséquilibre des groupes, paradoxe de Simpson).
- Décider à partir de règles écrites avant le test et documenter l'expérience dans un mémo réutilisable.
Formations liées
- Concevoir et valider une expérience produit avec l'IAJunior · ~2 h 30 min
- Écrire des specs que les développeurs et les agents IA comprennentConfirmé · ~2 h 30 min
- Instrumenter un produit et utiliser les données pour déciderConfirmé · ~3 h 30 min