Aller au contenu
Module
Module 2 sur 5Leçon 1 sur 2~14 min

Ce qu'un test contrôlé prouve, et ce qu'une analyse ne prouve pas

Un indicateur qui s'améliore après un lancement ne prouve pas que votre fonctionnalité en est la cause. Cette leçon explique ce qu'un test contrôlé établit et que les comparaisons habituelles ne peuvent pas établir, puis pose un vocabulaire commun avec les équipes data. Vous savez alors contester une affirmation d'impact fragile avant qu'elle n'oriente la roadmap.

Mis à jour le 29 septembre 2026.

En bref

Seul un test contrôlé, où les utilisateurs sont répartis au hasard entre deux versions, permet d'attribuer un écart de résultat au changement lui-même. Une comparaison avant-après ou entre utilisateurs et non-utilisateurs mélange l'effet avec la saisonnalité, le marketing ou le profil des utilisateurs. Pour un PM, c'est ce qui permet de contester une affirmation d'impact fragile.

Objectif de la leçon

À la fin de cette leçon, vous serez capable d'expliquer pourquoi une comparaison avant-après ou entre utilisateurs et non-utilisateurs ne mesure pas l'effet d'un changement, ce que la randomisation apporte, et d'employer correctement le vocabulaire d'un A/B test (contrôle, variante, unité, exposition).

Les questions auxquelles cette leçon répond

  • Pourquoi une comparaison avant-après ne prouve-t-elle pas l'effet d'un changement produit ?

    Parce que d'autres choses changent en même temps : saison, campagnes, mix de clients, autres lancements. L'écart observé peut venir de n'importe lequel de ces facteurs, pas forcément de votre fonctionnalité.

  • Que prouve un A/B test que les comparaisons classiques ne prouvent pas ?

    La randomisation rend les deux groupes comparables en moyenne sur tout, y compris ce qu'on ne mesure pas. Un écart significatif entre eux peut alors être attribué au changement testé, ce qu'aucune comparaison observationnelle ne garantit.

  • Quelle est la différence entre contrôle, variante et exposition dans un A/B test ?

    Le contrôle est la version actuelle, la variante la version modifiée, et l'exposition le moment où l'utilisateur voit réellement l'une ou l'autre. Seules les unités exposées doivent compter dans l'analyse.

Thèmes abordés

  • A/B test
  • causalité
  • randomisation
  • comparaison avant-après
  • groupe de contrôle

Dans le glossaire

Tout le glossaire

Guide sur ce thème

  • SQL pour Product Manager

    Les requêtes utiles pour décider seul, les pièges à éviter et l’IA pour écrire du SQL, avec un aide-mémoire.

Dans quel module

Faut-il tester ?

Qu'est-ce qu'un A/B test prouve qu'une analyse ne prouve pas, et quand vaut-il mieux s'en passer ?

Leçons du module

  1. Ce qu'un test contrôlé prouve, et ce qu'une analyse ne prouve pas (cette leçon)
  2. Quand ne pas tester, et que faire à la place

Ce que vous apprendrez dans ce module

Cette leçon fait partie de la formation Concevoir et analyser un A/B test

  • Décider si un A/B test est la bonne méthode (volume, B2B, réversibilité, délai, éthique) et choisir une alternative adaptée sinon.