Module
Module 3 sur 6Leçon 2 sur 2~14 min

Annoter, versionner et protéger le jeu de test

Comment faire annoter un jeu de test de façon cohérente, le versionner et le mettre à l'abri du surajustement. Pour un PM, c'est ce qui rend les résultats comparables d'une version à l'autre et évite de célébrer un score en hausse alors que la fonctionnalité, elle, n'a pas progressé.

Suivre cette leçon : première formation offerteVoir le programme complet

Objectif de la leçon

À la fin de cette leçon, vous serez capable de faire annoter un jeu de test avec un guide, de vérifier l'accord entre annotateurs, de le versionner avec le prompt et le modèle, et de le protéger du surajustement grâce à un jeu réservé.

Thèmes abordés

  • annotation de données
  • accord inter-annotateurs
  • versionner un jeu de test
  • jeu réservé
  • surajustement du prompt

Dans quel module

Construire le jeu de test

Sur quels cas tester, et comment garder ce jeu fiable dans le temps ?

Leçons du module

  1. Constituer un jeu de test représentatif
  2. Annoter, versionner et protéger le jeu de test (cette leçon)

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge

  • Traduire l'objectif d'une fonctionnalité IA en critères de succès spécifiques, mesurables, atteignables et pertinents, en tenant compte de la gravité des erreurs.
  • Constituer un jeu de test représentatif à partir du trafic réel, de cas limites et de cas adverses, et justifier sa composition.
  • Annoter le jeu de test avec un guide, mesurer l'accord entre annotateurs, le versionner et le protéger du surajustement.
  • Choisir, pour chaque critère, une méthode de notation (code, humain, modèle juge) et justifier le compromis entre coût, vitesse et fiabilité.
  • Concevoir un modèle juge (grille, format, modèle différent), identifier ses biais et le calibrer contre des notes humaines.
  • Choisir et interpréter les métriques adaptées à une classification et à un RAG, et en déduire l'étape à corriger.
  • Définir la règle de régression, l'articulation entre évaluations hors ligne et en ligne, et des seuils de mise en production fixés avant les résultats.

Formations liées