Module
Module 6 sur 6Leçon 1 sur 2~18 min

Fixer les seuils de mise en production et la règle de régression

Comment fixer les conditions qu'une nouvelle version d'une fonctionnalité IA doit remplir avant de sortir, et savoir quoi rejouer à chaque changement. Ce cadre vous épargne les débats de dernière minute lors d'une montée de modèle ou d'une retouche de prompt, et clarifie le rôle des tests hors ligne et de l'observation en production.

Suivre cette leçon : première formation offerteVoir le programme complet

Objectif de la leçon

À la fin de cette leçon, vous serez capable de définir des seuils de mise en production fixés avant les résultats, une règle de régression à chaque changement, et la place des évaluations hors ligne et en ligne dans la décision.

Thèmes abordés

  • seuils de mise en production
  • tests de régression IA
  • évaluation hors ligne
  • évaluation en ligne
  • changement de modèle

Dans quel module

Décider la mise en production

Quand une version est-elle prête, et comment éviter qu'un changement la dégrade ?

Leçons du module

  1. Fixer les seuils de mise en production et la règle de régression (cette leçon)
  2. Assembler le plan d'évaluation de votre fonctionnalité

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge

  • Traduire l'objectif d'une fonctionnalité IA en critères de succès spécifiques, mesurables, atteignables et pertinents, en tenant compte de la gravité des erreurs.
  • Constituer un jeu de test représentatif à partir du trafic réel, de cas limites et de cas adverses, et justifier sa composition.
  • Annoter le jeu de test avec un guide, mesurer l'accord entre annotateurs, le versionner et le protéger du surajustement.
  • Choisir, pour chaque critère, une méthode de notation (code, humain, modèle juge) et justifier le compromis entre coût, vitesse et fiabilité.
  • Concevoir un modèle juge (grille, format, modèle différent), identifier ses biais et le calibrer contre des notes humaines.
  • Choisir et interpréter les métriques adaptées à une classification et à un RAG, et en déduire l'étape à corriger.
  • Définir la règle de régression, l'articulation entre évaluations hors ligne et en ligne, et des seuils de mise en production fixés avant les résultats.

Formations liées