Module
Module 2 sur 5Leçon 1 sur 2~14 min

Ce qu'un test contrôlé prouve, et ce qu'une analyse ne prouve pas

Un indicateur qui s'améliore après un lancement ne prouve pas que votre fonctionnalité en est la cause. Cette leçon explique ce qu'un test contrôlé établit et que les comparaisons habituelles ne peuvent pas établir, puis pose un vocabulaire commun avec les équipes data. Vous savez alors contester une affirmation d'impact fragile avant qu'elle n'oriente la roadmap.

Suivre cette leçon : première formation offerteVoir le programme complet

Objectif de la leçon

À la fin de cette leçon, vous serez capable d'expliquer pourquoi une comparaison avant-après ou entre utilisateurs et non-utilisateurs ne mesure pas l'effet d'un changement, ce que la randomisation apporte, et d'employer correctement le vocabulaire d'un A/B test (contrôle, variante, unité, exposition).

Thèmes abordés

  • A/B test
  • causalité
  • randomisation
  • comparaison avant-après
  • groupe de contrôle

Dans quel module

Faut-il tester ?

Qu'est-ce qu'un A/B test prouve qu'une analyse ne prouve pas, et quand vaut-il mieux s'en passer ?

Leçons du module

  1. Ce qu'un test contrôlé prouve, et ce qu'une analyse ne prouve pas (cette leçon)
  2. Quand ne pas tester, et que faire à la place

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Concevoir et analyser un A/B test

  • Décider si un A/B test est la bonne méthode (volume, B2B, réversibilité, délai, éthique) et choisir une alternative adaptée sinon.
  • Formuler une hypothèse testable, choisir une métrique principale sensible et attribuable, des garde-fous et l'événement d'exposition à enregistrer.
  • Choisir l'unité de randomisation et prévenir les interférences entre groupes, y compris en B2B.
  • Calculer une taille d'échantillon et une durée à partir du taux de base, de l'effet minimal détectable, du seuil de significativité et de la puissance.
  • Analyser un résultat (p-valeur, intervalle de confiance, significativité pratique, garde-fous) et lire une sortie bayésienne ou fréquentiste d'un outil.
  • Détecter et éviter les pièges d'analyse (regards répétés, comparaisons multiples, effet de nouveauté, déséquilibre des groupes, paradoxe de Simpson).
  • Décider à partir de règles écrites avant le test et documenter l'expérience dans un mémo réutilisable.

Formations liées