Lire une p-valeur et un intervalle de confiance
La p-valeur est l'un des chiffres les plus mal lus des revues produit, et ces erreurs mènent à des déploiements injustifiés. Cette leçon vous apprend à analyser un A/B test en lisant l'écart observé, puis l'intervalle de confiance et la p-valeur, sans contresens. Vous savez ensuite si l'effet mérite un déploiement, sans oublier les garde-fous.
Mis à jour le 29 septembre 2026.
En bref
La p-valeur indique la probabilité d'observer un écart de cette ampleur, ou plus, si le changement était sans effet réel. Elle ne dit pas quelle version gagne, ni de combien. L'intervalle de confiance, lui, donne la plage d'effets compatibles avec les données. Pour un PM, lire les deux ensemble évite de déployer sur un effet trop faible ou trop incertain.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de calculer l'écart entre deux taux, son intervalle de confiance à 95 % et sa p-valeur, de les interpréter correctement (et de repérer les interprétations fausses), et de juger si l'effet est assez grand pour compter, garde-fous compris.
Les questions auxquelles cette leçon répond
Comment interpréter correctement une p-valeur d'A/B test ?
Une petite p-valeur signifie qu'un tel écart arriverait rarement par hasard si la variante ne changeait rien. Elle ne dit ni si votre intuition est juste, ni si l'effet est important.
Que signifie un intervalle de confiance dans un A/B test ?
C'est la plage des effets plausibles compte tenu des données. S'il exclut zéro, l'effet est significatif ; sa largeur montre à quel point l'estimation reste incertaine.
Quelle différence entre significativité statistique et significativité pratique ?
Un effet statistiquement significatif est probablement réel ; un effet pratiquement significatif est assez grand pour valoir son coût. Un test peut être l'un sans être l'autre.
Thèmes abordés
- p-valeur
- intervalle de confiance
- significativité statistique
- significativité pratique
- analyser un A/B test
Dans le glossaire
Guide sur ce thème
- SQL pour Product Manager
Les requêtes utiles pour décider seul, les pièges à éviter et l’IA pour écrire du SQL, avec un aide-mémoire.
Dans quel module
Analyser le résultat
Comment lire un résultat de test sans surinterpréter ni passer à côté d'un problème ?
Leçons du module
- Lire une p-valeur et un intervalle de confiance (cette leçon)
- Les pièges de l'analyse : regards répétés, comparaisons multiples, nouveauté, SRM, Simpson
- Bayésien ou fréquentiste, et quel outil choisir
Ce que vous apprendrez dans ce module
Cette leçon fait partie de la formation Concevoir et analyser un A/B test
- Analyser un résultat (p-valeur, intervalle de confiance, significativité pratique, garde-fous) et lire une sortie bayésienne ou fréquentiste d'un outil.
- Détecter et éviter les pièges d'analyse (regards répétés, comparaisons multiples, effet de nouveauté, déséquilibre des groupes, paradoxe de Simpson).
Formations liées
- Product ManagementConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Instrumenter un produit et utiliser les données pour décider
3 h 30 min
- Product ManagementConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Prioriser et construire une roadmap orientée résultats
2 h 30 min
- IA & FondamentauxJuniorQuelques bases utiles : notions de contexte ou du domaine.
Prompter comme un PM : déléguer, décrire, vérifier
2 h 45 min