Aller au contenu
Module
Module 3 sur 6Leçon 2 sur 2~14 min

Annoter, versionner et protéger le jeu de test

Comment faire annoter un jeu de test de façon cohérente, le versionner et le mettre à l'abri du surajustement. Pour un PM, c'est ce qui rend les résultats comparables d'une version à l'autre et évite de célébrer un score en hausse alors que la fonctionnalité, elle, n'a pas progressé.

Mis à jour le 29 septembre 2026.

En bref

Annoter un jeu de test, c'est attribuer à chaque exemple la réponse ou la note attendue, selon un guide commun pour que plusieurs personnes jugent de la même façon. Versionner ce jeu avec le prompt et le modèle rend les résultats comparables. Un jeu réservé, jamais utilisé pour ajuster le prompt, évite de confondre score en hausse et vrai progrès.

Objectif de la leçon

À la fin de cette leçon, vous serez capable de faire annoter un jeu de test avec un guide, de vérifier l'accord entre annotateurs, de le versionner avec le prompt et le modèle, et de le protéger du surajustement grâce à un jeu réservé.

Les questions auxquelles cette leçon répond

  • Comment annoter un jeu de test de façon cohérente entre plusieurs personnes ?

    Rédigez un guide d'annotation avec des exemples, faites annoter une partie des cas par plusieurs personnes et mesurez leur accord pour repérer les consignes ambiguës.

  • Pourquoi prévoir un jeu réservé pour évaluer une fonctionnalité IA ?

    Parce qu'en retouchant sans cesse le prompt sur les mêmes exemples, on finit par optimiser pour ces cas précis. Un jeu jamais vu pendant les réglages montre si le progrès est réel.

Thèmes abordés

  • annotation de données
  • accord inter-annotateurs
  • versionner un jeu de test
  • jeu réservé
  • surajustement du prompt

Guide sur ce thème

Dans quel module

Construire le jeu de test

Sur quels cas tester, et comment garder ce jeu fiable dans le temps ?

Leçons du module

  1. Constituer un jeu de test représentatif
  2. Annoter, versionner et protéger le jeu de test (cette leçon)

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge