Aller au contenu
Module
Module 4 sur 5Leçon 2 sur 3~20 min

Les pièges de l'analyse : regards répétés, comparaisons multiples, nouveauté, SRM, Simpson

Un test bien conçu peut encore mener à une conclusion fausse si son analyse tombe dans l'un des pièges classiques. La leçon vous apprend à les repérer dans un résultat ou un compte rendu, à contrôler la répartition entre groupes et à choisir la bonne parade. Vous évitez de déployer une variante qui n'a gagné que par hasard.

Mis à jour le 29 septembre 2026.

En bref

Les pièges classiques d'analyse d'un A/B test sont les regards répétés, les comparaisons multiples, l'effet de nouveauté, le déséquilibre de répartition (SRM) et le paradoxe de Simpson. Chacun peut faire passer un hasard pour un gain. Pour un PM, savoir les repérer dans un compte rendu évite de déployer une variante qui n'a rien amélioré.

Objectif de la leçon

À la fin de cette leçon, vous serez capable de repérer dans un test ou son compte rendu les regards répétés, les comparaisons multiples, un effet de nouveauté, un déséquilibre des groupes ou un paradoxe de Simpson, de vérifier un déséquilibre par le calcul, et de choisir la parade adaptée.

Les questions auxquelles cette leçon répond

  • Pourquoi ne faut-il pas arrêter un A/B test dès qu'il devient significatif ?

    Parce qu'à force de regarder, un écart passager finit presque toujours par franchir le seuil par hasard. Arrêter à ce moment-là gonfle fortement le risque de faux positif, sauf méthode prévue pour les analyses intermédiaires.

  • Qu'est-ce qu'un déséquilibre de répartition (SRM) dans un A/B test ?

    C'est un écart anormal entre la répartition prévue des unités et celle observée. Il signale souvent un bug d'assignation ou de collecte, et rend le résultat du test peu fiable.

  • Comment repérer un effet de nouveauté ou un paradoxe de Simpson dans un test ?

    Un effet de nouveauté se voit quand l'écart s'estompe au fil des semaines. Un paradoxe de Simpson apparaît quand la tendance globale s'inverse une fois les résultats découpés par segment.

Thèmes abordés

  • regards répétés
  • comparaisons multiples
  • effet de nouveauté
  • sample ratio mismatch
  • paradoxe de Simpson

Dans le glossaire

Tout le glossaire

Guide sur ce thème

  • SQL pour Product Manager

    Les requêtes utiles pour décider seul, les pièges à éviter et l’IA pour écrire du SQL, avec un aide-mémoire.

Dans quel module

Analyser le résultat

Comment lire un résultat de test sans surinterpréter ni passer à côté d'un problème ?

Leçons du module

  1. Lire une p-valeur et un intervalle de confiance
  2. Les pièges de l'analyse : regards répétés, comparaisons multiples, nouveauté, SRM, Simpson (cette leçon)
  3. Bayésien ou fréquentiste, et quel outil choisir

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Concevoir et analyser un A/B test