Décider selon des règles écrites et documenter l'expérience
Sans règle fixée à l'avance, chaque résultat d'A/B test finit par donner raison à l'intuition de départ. La leçon vous montre comment décider quel que soit le résultat, même non concluant, et comment préparer la suite. Vous consignez chaque expérience dans un mémo court que toute l'organisation pourra réutiliser pour ses prochains tests.
Mis à jour le 29 septembre 2026.
En bref
Décider après un A/B test consiste à appliquer une règle écrite avant le lancement, que le résultat soit positif, négatif ou non concluant. Sans cette règle, chaque résultat finit par confirmer l'intuition de départ. Pour un PM, consigner ensuite la décision dans un mémo court transforme chaque test en connaissance réutilisable par toute l'organisation.
Objectif de la leçon
À la fin de cette leçon, vous serez capable d'appliquer une règle de décision écrite avant le test à un résultat concluant, négatif ou non concluant, de prévoir la suite (déploiement, groupe témoin durable, nouvelle itération), et de rédiger un mémo d'expérience réutilisable.
Les questions auxquelles cette leçon répond
Comment décider après un A/B test dont le résultat n'est pas concluant ?
Un résultat non concluant n'est pas un échec : il indique que l'effet, s'il existe, est plus petit que prévu. On applique la règle fixée d'avance, souvent conserver l'existant ou itérer.
Comment rédiger un mémo de décision après un A/B test ?
Un bon mémo rappelle l'hypothèse, le protocole, le résultat avec son incertitude, la décision prise et ce qu'on en retient. Il doit rester court pour être lu et réutilisé.
Pourquoi garder un groupe témoin après le déploiement d'un A/B test ?
Un groupe témoin conservé après le déploiement permet de vérifier que l'effet se maintient dans le temps et de mesurer l'impact cumulé de plusieurs changements.
Thèmes abordés
- règle de décision
- résultat non concluant
- mémo d'expérience
- groupe témoin
- documentation des tests
Dans le glossaire
Guide sur ce thème
- SQL pour Product Manager
Les requêtes utiles pour décider seul, les pièges à éviter et l’IA pour écrire du SQL, avec un aide-mémoire.
Dans quel module
Décider et capitaliser
Comment transformer un résultat en décision, et le test en apprentissage durable ?
Leçons du module
- Décider selon des règles écrites et documenter l'expérience (cette leçon)
- Atelier final : le protocole, l'analyse et le mémo de votre expérience
Ce que vous apprendrez dans ce module
Cette leçon fait partie de la formation Concevoir et analyser un A/B test
- Décider si un A/B test est la bonne méthode (volume, B2B, réversibilité, délai, éthique) et choisir une alternative adaptée sinon.
- Formuler une hypothèse testable, choisir une métrique principale sensible et attribuable, des garde-fous et l'événement d'exposition à enregistrer.
- Calculer une taille d'échantillon et une durée à partir du taux de base, de l'effet minimal détectable, du seuil de significativité et de la puissance.
- Analyser un résultat (p-valeur, intervalle de confiance, significativité pratique, garde-fous) et lire une sortie bayésienne ou fréquentiste d'un outil.
- Décider à partir de règles écrites avant le test et documenter l'expérience dans un mémo réutilisable.
Formations liées
- Product ManagementJuniorQuelques bases utiles : notions de contexte ou du domaine.
Concevoir et valider une expérience produit avec l'IA
2 h 30 min
- Product ManagementConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Installer une discovery continue avec l'IA
3 h 4 min
- Product ManagementConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Écrire des specs que les développeurs et les agents IA comprennent
2 h 30 min