Module
Module 6 sur 6Leçon 2 sur 2~18 min

Assembler le plan d'évaluation de votre fonctionnalité

L'atelier final du cours : vous rassemblez vos choix en un plan d'évaluation complet pour votre propre fonctionnalité IA. Ce document devient la référence partagée avec l'équipe technique et le métier pour décider d'une mise en production, accompagnée d'un calendrier de mise en œuvre pour les semaines qui suivent.

Suivre cette leçon : première formation offerteVoir le programme complet

Objectif de la leçon

À la fin de cette leçon, vous serez capable d'assembler le plan d'évaluation de votre fonctionnalité IA, avec son jeu de test versionné et ses seuils de mise en production, et de planifier sa mise en œuvre à 7 et 30 jours.

Thèmes abordés

  • plan d'évaluation
  • evals LLM
  • jeu de test versionné
  • seuils de mise en production
  • atelier évaluation IA

Dans quel module

Décider la mise en production

Quand une version est-elle prête, et comment éviter qu'un changement la dégrade ?

Leçons du module

  1. Fixer les seuils de mise en production et la règle de régression
  2. Assembler le plan d'évaluation de votre fonctionnalité (cette leçon)

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge

  • Traduire l'objectif d'une fonctionnalité IA en critères de succès spécifiques, mesurables, atteignables et pertinents, en tenant compte de la gravité des erreurs.
  • Constituer un jeu de test représentatif à partir du trafic réel, de cas limites et de cas adverses, et justifier sa composition.
  • Annoter le jeu de test avec un guide, mesurer l'accord entre annotateurs, le versionner et le protéger du surajustement.
  • Choisir, pour chaque critère, une méthode de notation (code, humain, modèle juge) et justifier le compromis entre coût, vitesse et fiabilité.
  • Concevoir un modèle juge (grille, format, modèle différent), identifier ses biais et le calibrer contre des notes humaines.
  • Choisir et interpréter les métriques adaptées à une classification et à un RAG, et en déduire l'étape à corriger.
  • Définir la règle de régression, l'articulation entre évaluations hors ligne et en ligne, et des seuils de mise en production fixés avant les résultats.

Formations liées