Aller au contenu
Module
Module 4 sur 5Leçon 1 sur 3~18 min

Lire une p-valeur et un intervalle de confiance

La p-valeur est l'un des chiffres les plus mal lus des revues produit, et ces erreurs mènent à des déploiements injustifiés. Cette leçon vous apprend à analyser un A/B test en lisant l'écart observé, puis l'intervalle de confiance et la p-valeur, sans contresens. Vous savez ensuite si l'effet mérite un déploiement, sans oublier les garde-fous.

Mis à jour le 29 septembre 2026.

En bref

La p-valeur indique la probabilité d'observer un écart de cette ampleur, ou plus, si le changement était sans effet réel. Elle ne dit pas quelle version gagne, ni de combien. L'intervalle de confiance, lui, donne la plage d'effets compatibles avec les données. Pour un PM, lire les deux ensemble évite de déployer sur un effet trop faible ou trop incertain.

Objectif de la leçon

À la fin de cette leçon, vous serez capable de calculer l'écart entre deux taux, son intervalle de confiance à 95 % et sa p-valeur, de les interpréter correctement (et de repérer les interprétations fausses), et de juger si l'effet est assez grand pour compter, garde-fous compris.

Les questions auxquelles cette leçon répond

  • Comment interpréter correctement une p-valeur d'A/B test ?

    Une petite p-valeur signifie qu'un tel écart arriverait rarement par hasard si la variante ne changeait rien. Elle ne dit ni si votre intuition est juste, ni si l'effet est important.

  • Que signifie un intervalle de confiance dans un A/B test ?

    C'est la plage des effets plausibles compte tenu des données. S'il exclut zéro, l'effet est significatif ; sa largeur montre à quel point l'estimation reste incertaine.

  • Quelle différence entre significativité statistique et significativité pratique ?

    Un effet statistiquement significatif est probablement réel ; un effet pratiquement significatif est assez grand pour valoir son coût. Un test peut être l'un sans être l'autre.

Thèmes abordés

  • p-valeur
  • intervalle de confiance
  • significativité statistique
  • significativité pratique
  • analyser un A/B test

Dans le glossaire

Tout le glossaire

Guide sur ce thème

  • SQL pour Product Manager

    Les requêtes utiles pour décider seul, les pièges à éviter et l’IA pour écrire du SQL, avec un aide-mémoire.

Dans quel module

Analyser le résultat

Comment lire un résultat de test sans surinterpréter ni passer à côté d'un problème ?

Leçons du module

  1. Lire une p-valeur et un intervalle de confiance (cette leçon)
  2. Les pièges de l'analyse : regards répétés, comparaisons multiples, nouveauté, SRM, Simpson
  3. Bayésien ou fréquentiste, et quel outil choisir

Ce que vous apprendrez dans ce module

Cette leçon fait partie de la formation Concevoir et analyser un A/B test

  • Analyser un résultat (p-valeur, intervalle de confiance, significativité pratique, garde-fous) et lire une sortie bayésienne ou fréquentiste d'un outil.
  • Détecter et éviter les pièges d'analyse (regards répétés, comparaisons multiples, effet de nouveauté, déséquilibre des groupes, paradoxe de Simpson).