Aller au contenu
Module
Module 6 sur 6Leçon 1 sur 2~18 min

Fixer les seuils de mise en production et la règle de régression

Comment fixer les conditions qu'une nouvelle version d'une fonctionnalité IA doit remplir avant de sortir, et savoir quoi rejouer à chaque changement. Ce cadre vous épargne les débats de dernière minute lors d'une montée de modèle ou d'une retouche de prompt, et clarifie le rôle des tests hors ligne et de l'observation en production.

Mis à jour le 29 septembre 2026.

En bref

Un seuil de mise en production est le niveau minimal exigé avant toute sortie, fixé avant de voir les résultats pour éviter de l'ajuster après coup. Une règle de régression précise ce qu'on rejoue à chaque changement de prompt ou de modèle. L'évaluation hors ligne décide de la sortie ; l'observation en production confirme la qualité réelle.

Objectif de la leçon

À la fin de cette leçon, vous serez capable de définir des seuils de mise en production fixés avant les résultats, une règle de régression à chaque changement, et la place des évaluations hors ligne et en ligne dans la décision.

Les questions auxquelles cette leçon répond

  • Comment fixer des seuils de mise en production avant de voir les résultats ?

    Décidez par critère du niveau minimal acceptable et des erreurs qui bloquent la sortie, écrivez-le et faites-le valider avant de lancer la mesure.

  • Faut-il tout réévaluer quand on change de modèle ou de prompt ?

    Oui, au moins le jeu de test principal : un changement de prompt ou de modèle peut améliorer un critère et en dégrader un autre sans que personne ne s'en aperçoive.

  • Quelle est la différence entre évaluation hors ligne et évaluation en ligne ?

    L'évaluation hors ligne mesure la qualité sur des cas préparés, avant toute diffusion ; l'évaluation en ligne observe le comportement réel en production, avec de vrais utilisateurs.

Thèmes abordés

  • seuils de mise en production
  • tests de régression IA
  • évaluation hors ligne
  • évaluation en ligne
  • changement de modèle

Dans le glossaire

Tout le glossaire

Guide sur ce thème

Dans quel module

Décider la mise en production

Quand une version est-elle prête, et comment éviter qu'un changement la dégrade ?

Leçons du module

  1. Fixer les seuils de mise en production et la règle de régression (cette leçon)
  2. Assembler le plan d'évaluation de votre fonctionnalité

Ce que vous apprendrez dans ce module

Cette leçon fait partie de la formation Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge

  • Traduire l'objectif d'une fonctionnalité IA en critères de succès spécifiques, mesurables, atteignables et pertinents, en tenant compte de la gravité des erreurs.
  • Constituer un jeu de test représentatif à partir du trafic réel, de cas limites et de cas adverses, et justifier sa composition.
  • Annoter le jeu de test avec un guide, mesurer l'accord entre annotateurs, le versionner et le protéger du surajustement.
  • Choisir, pour chaque critère, une méthode de notation (code, humain, modèle juge) et justifier le compromis entre coût, vitesse et fiabilité.
  • Concevoir un modèle juge (grille, format, modèle différent), identifier ses biais et le calibrer contre des notes humaines.
  • Choisir et interpréter les métriques adaptées à une classification et à un RAG, et en déduire l'étape à corriger.
  • Définir la règle de régression, l'articulation entre évaluations hors ligne et en ligne, et des seuils de mise en production fixés avant les résultats.