Calculer la taille d'échantillon et la durée
Savoir combien d'unités et de semaines exige un A/B test évite de lancer un test perdu d'avance ou de l'arrêter trop tôt. Vous apprenez à estimer la taille d'échantillon d'un test sur un taux, à la main puis avec un calculateur gratuit, et à en déduire une durée réaliste. Vous savez aussi quelles options vous restent quand le calcul dépasse votre volume.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de calculer à la main et avec un calculateur gratuit la taille d'échantillon d'un test sur un taux, à partir du taux de base, de l'effet minimal détectable, du seuil et de la puissance, d'en déduire une durée en semaines complètes, et de savoir quoi faire si elle est hors de portée.
Thèmes abordés
- taille d'échantillon
- durée d'un A/B test
- effet minimal détectable
- puissance statistique
- calculateur A/B test
Dans quel module
Écrire le protocole
Que faut-il fixer avant de lancer le test pour que son résultat soit lisible et crédible ?
Leçons du module
- Hypothèse, métrique principale et garde-fous
- Choisir l'unité de randomisation
- Calculer la taille d'échantillon et la durée (cette leçon)
Ce que vous apprendrez dans la formation
Cette leçon fait partie de la formation Concevoir et analyser un A/B test
- Décider si un A/B test est la bonne méthode (volume, B2B, réversibilité, délai, éthique) et choisir une alternative adaptée sinon.
- Formuler une hypothèse testable, choisir une métrique principale sensible et attribuable, des garde-fous et l'événement d'exposition à enregistrer.
- Choisir l'unité de randomisation et prévenir les interférences entre groupes, y compris en B2B.
- Calculer une taille d'échantillon et une durée à partir du taux de base, de l'effet minimal détectable, du seuil de significativité et de la puissance.
- Analyser un résultat (p-valeur, intervalle de confiance, significativité pratique, garde-fous) et lire une sortie bayésienne ou fréquentiste d'un outil.
- Détecter et éviter les pièges d'analyse (regards répétés, comparaisons multiples, effet de nouveauté, déséquilibre des groupes, paradoxe de Simpson).
- Décider à partir de règles écrites avant le test et documenter l'expérience dans un mémo réutilisable.
Formations liées
- Concevoir et valider une expérience produit avec l'IAJunior · ~2 h 30 min
- Écrire des specs que les développeurs et les agents IA comprennentConfirmé · ~2 h 30 min
- Instrumenter un produit et utiliser les données pour déciderConfirmé · ~3 h 30 min