Module
Module 4 sur 6Leçon 1 sur 2~18 min

Choisir une méthode de notation par critère

Code, relecture humaine ou modèle juge : comment choisir la façon de noter chaque critère d'une fonctionnalité IA. Ce choix pèse sur le coût, la vitesse et la fiabilité de vos évaluations, et c'est une discussion concrète à mener avec les ingénieurs avant qu'ils construisent la chaîne de notation.

Suivre cette leçon : première formation offerteVoir le programme complet

Objectif de la leçon

À la fin de cette leçon, vous serez capable de choisir, pour chaque critère, entre notation par code, notation humaine et modèle juge, et de justifier ce choix par la nature du critère, le coût, la vitesse et la fiabilité.

Thèmes abordés

  • méthodes de notation
  • notation automatique
  • évaluation humaine
  • LLM as a judge
  • grille de notation

Dans quel module

Noter les réponses

Comment noter chaque critère de façon fiable, et quand faire confiance à un modèle juge ?

Leçons du module

  1. Choisir une méthode de notation par critère (cette leçon)
  2. Concevoir et calibrer un modèle juge

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge

  • Traduire l'objectif d'une fonctionnalité IA en critères de succès spécifiques, mesurables, atteignables et pertinents, en tenant compte de la gravité des erreurs.
  • Constituer un jeu de test représentatif à partir du trafic réel, de cas limites et de cas adverses, et justifier sa composition.
  • Annoter le jeu de test avec un guide, mesurer l'accord entre annotateurs, le versionner et le protéger du surajustement.
  • Choisir, pour chaque critère, une méthode de notation (code, humain, modèle juge) et justifier le compromis entre coût, vitesse et fiabilité.
  • Concevoir un modèle juge (grille, format, modèle différent), identifier ses biais et le calibrer contre des notes humaines.
  • Choisir et interpréter les métriques adaptées à une classification et à un RAG, et en déduire l'étape à corriger.
  • Définir la règle de régression, l'articulation entre évaluations hors ligne et en ligne, et des seuils de mise en production fixés avant les résultats.

Formations liées