Aller au contenu
Module
Module 5 sur 6Leçon 2 sur 2~17 min

Tester le contrat sur 20 cas choisis pour le casser

Tester une sortie IA sur des exemples faciles ne prouve rien. Cette leçon vous apprend à construire un petit jeu de cas conçus pour mettre votre contrat en défaut, à choisir ce que vous mesurerez et à fixer vos seuils d'acceptation avant de lancer le test.

Mis à jour le 29 septembre 2026.

En bref

Tester la robustesse d'une sortie structurée consiste à la confronter à des entrées choisies pour la mettre en défaut, plutôt qu'à des exemples faciles : données manquantes, ambiguës, contradictoires ou hors sujet. Pour un PM, fixer les métriques et les seuils d'acceptation avant la mesure évite d'interpréter le résultat selon ce qu'on espérait voir.

Objectif de la leçon

À la fin de cette leçon, vous serez capable de construire un jeu de 20 cas de robustesse répartis en huit familles, de choisir les métriques à mesurer et de fixer les seuils d'acceptation avant la mesure.

Les questions auxquelles cette leçon répond

  • Comment tester la robustesse d'une sortie structurée de LLM ?

    En préparant un jeu de cas difficiles, en mesurant la conformité au schéma et la justesse des valeurs, puis en comparant le résultat à des seuils fixés avant le test.

  • Quels cas de test choisir pour mettre en défaut un schéma JSON ?

    Des entrées incomplètes, ambiguës, très longues, dans une autre langue, hors sujet ou contradictoires. Ce sont ces cas, rares en démo mais fréquents en production, qui révèlent les faiblesses.

Thèmes abordés

  • tests de robustesse
  • cas limites
  • seuils d'acceptation
  • évaluation LLM

Guide sur ce thème

Dans quel module

Faire vivre le contrat

Comment faire évoluer le schéma sans casser le produit, et comment savoir qu'il tient ?

Leçons du module

  1. Faire évoluer le contrat sans casser le produit
  2. Tester le contrat sur 20 cas choisis pour le casser (cette leçon)

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Obtenir des sorties IA fiables et exploitables par le produit (JSON, schémas, appels de fonction)