Module
Module 2 sur 5Leçon 2 sur 2~18 min

Quand ne pas tester, et que faire à la place

Lancer un A/B test sans assez de volume, c'est dépenser des semaines pour un résultat qui ne tranchera rien. La leçon vous aide à juger si un test est faisable, à reconnaître les situations où il n'a pas sa place et à choisir une autre méthode, notamment en B2B. Vous décidez quand même, en sachant ce que votre approche démontre et ce qui lui échappe.

Suivre cette leçon : première formation offerteVoir le programme complet

Objectif de la leçon

À la fin de cette leçon, vous serez capable d'estimer si le volume disponible permet un A/B test (effet minimal détectable), de reconnaître les autres cas où un test n'est pas la bonne méthode, et de choisir une alternative adaptée, en particulier en B2B.

Thèmes abordés

  • effet minimal détectable
  • puissance statistique
  • alternatives à l'A/B test
  • expérimentation B2B
  • déploiement progressif

Dans quel module

Faut-il tester ?

Qu'est-ce qu'un A/B test prouve qu'une analyse ne prouve pas, et quand vaut-il mieux s'en passer ?

Leçons du module

  1. Ce qu'un test contrôlé prouve, et ce qu'une analyse ne prouve pas
  2. Quand ne pas tester, et que faire à la place (cette leçon)

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Concevoir et analyser un A/B test

  • Décider si un A/B test est la bonne méthode (volume, B2B, réversibilité, délai, éthique) et choisir une alternative adaptée sinon.
  • Formuler une hypothèse testable, choisir une métrique principale sensible et attribuable, des garde-fous et l'événement d'exposition à enregistrer.
  • Choisir l'unité de randomisation et prévenir les interférences entre groupes, y compris en B2B.
  • Calculer une taille d'échantillon et une durée à partir du taux de base, de l'effet minimal détectable, du seuil de significativité et de la puissance.
  • Analyser un résultat (p-valeur, intervalle de confiance, significativité pratique, garde-fous) et lire une sortie bayésienne ou fréquentiste d'un outil.
  • Détecter et éviter les pièges d'analyse (regards répétés, comparaisons multiples, effet de nouveauté, déséquilibre des groupes, paradoxe de Simpson).
  • Décider à partir de règles écrites avant le test et documenter l'expérience dans un mémo réutilisable.

Formations liées