Tester le contrat sur 20 cas choisis pour le casser
Tester une sortie IA sur des exemples faciles ne prouve rien. Cette leçon vous apprend à construire un petit jeu de cas conçus pour mettre votre contrat en défaut, à choisir ce que vous mesurerez et à fixer vos seuils d'acceptation avant de lancer le test.
Mis à jour le 29 septembre 2026.
En bref
Tester la robustesse d'une sortie structurée consiste à la confronter à des entrées choisies pour la mettre en défaut, plutôt qu'à des exemples faciles : données manquantes, ambiguës, contradictoires ou hors sujet. Pour un PM, fixer les métriques et les seuils d'acceptation avant la mesure évite d'interpréter le résultat selon ce qu'on espérait voir.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de construire un jeu de 20 cas de robustesse répartis en huit familles, de choisir les métriques à mesurer et de fixer les seuils d'acceptation avant la mesure.
Les questions auxquelles cette leçon répond
Comment tester la robustesse d'une sortie structurée de LLM ?
En préparant un jeu de cas difficiles, en mesurant la conformité au schéma et la justesse des valeurs, puis en comparant le résultat à des seuils fixés avant le test.
Quels cas de test choisir pour mettre en défaut un schéma JSON ?
Des entrées incomplètes, ambiguës, très longues, dans une autre langue, hors sujet ou contradictoires. Ce sont ces cas, rares en démo mais fréquents en production, qui révèlent les faiblesses.
Thèmes abordés
- tests de robustesse
- cas limites
- seuils d'acceptation
- évaluation LLM
Guide sur ce thème
- Écrire une spec pour agent IA
Les sections d’une spec qu’un agent de code exécute sans deviner, avec un modèle SPEC.md.
Dans quel module
Faire vivre le contrat
Comment faire évoluer le schéma sans casser le produit, et comment savoir qu'il tient ?
Leçons du module
- Faire évoluer le contrat sans casser le produit
- Tester le contrat sur 20 cas choisis pour le casser (cette leçon)
Ce que vous apprendrez dans la formation
Cette leçon fait partie de la formation Obtenir des sorties IA fiables et exploitables par le produit (JSON, schémas, appels de fonction)
Formations liées
- IA & ProduitExpertNiveau avancé : pour approfondir et aller plus loin.
Concevoir des agents et du tool calling fiables
3 h 30 min
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Connecter l’IA à vos outils et données avec MCP
2 h 30 min
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Sécuriser un produit IA : injection de prompt, garde-fous et AI Act
3 h