Hypothèse, métrique principale et garde-fous
Un test dont la métrique est choisie après coup finit presque toujours par confirmer ce que l'équipe voulait entendre. Cette leçon vous apprend à formuler une hypothèse testable, à choisir la métrique qui portera la décision et à fixer les garde-fous avant le lancement. Vous définissez aussi avec les développeurs ce qu'il faut enregistrer pour que l'analyse soit fiable.
Objectif de la leçon
À la fin de cette leçon, vous serez capable d'écrire une hypothèse testable et chiffrée, de choisir une métrique principale sensible et attribuable, des garde-fous avec leur seuil, et de spécifier l'événement d'exposition à enregistrer.
Thèmes abordés
- hypothèse d'A/B test
- métrique principale
- garde-fous
- événement d'exposition
- protocole d'expérience
Dans quel module
Écrire le protocole
Que faut-il fixer avant de lancer le test pour que son résultat soit lisible et crédible ?
Leçons du module
- Hypothèse, métrique principale et garde-fous (cette leçon)
- Choisir l'unité de randomisation
- Calculer la taille d'échantillon et la durée
Ce que vous apprendrez dans la formation
Cette leçon fait partie de la formation Concevoir et analyser un A/B test
- Décider si un A/B test est la bonne méthode (volume, B2B, réversibilité, délai, éthique) et choisir une alternative adaptée sinon.
- Formuler une hypothèse testable, choisir une métrique principale sensible et attribuable, des garde-fous et l'événement d'exposition à enregistrer.
- Choisir l'unité de randomisation et prévenir les interférences entre groupes, y compris en B2B.
- Calculer une taille d'échantillon et une durée à partir du taux de base, de l'effet minimal détectable, du seuil de significativité et de la puissance.
- Analyser un résultat (p-valeur, intervalle de confiance, significativité pratique, garde-fous) et lire une sortie bayésienne ou fréquentiste d'un outil.
- Détecter et éviter les pièges d'analyse (regards répétés, comparaisons multiples, effet de nouveauté, déséquilibre des groupes, paradoxe de Simpson).
- Décider à partir de règles écrites avant le test et documenter l'expérience dans un mémo réutilisable.
Formations liées
- Concevoir et valider une expérience produit avec l'IAJunior · ~2 h 30 min
- Écrire des specs que les développeurs et les agents IA comprennentConfirmé · ~2 h 30 min
- Instrumenter un produit et utiliser les données pour déciderConfirmé · ~3 h 30 min