Aller au contenu
Module
Module 4 sur 6Leçon 1 sur 2~18 min

Choisir une méthode de notation par critère

Code, relecture humaine ou modèle juge : comment choisir la façon de noter chaque critère d'une fonctionnalité IA. Ce choix pèse sur le coût, la vitesse et la fiabilité de vos évaluations, et c'est une discussion concrète à mener avec les ingénieurs avant qu'ils construisent la chaîne de notation.

Mis à jour le 29 septembre 2026.

En bref

Une réponse d'IA peut être notée par du code, par un humain ou par un modèle juge. Le code est rapide et fiable pour ce qui se vérifie mécaniquement, l'humain reste la référence pour les jugements fins, le modèle juge permet de passer à l'échelle une fois calibré. Le bon choix dépend de chaque critère, du coût et de la vitesse attendue.

Objectif de la leçon

À la fin de cette leçon, vous serez capable de choisir, pour chaque critère, entre notation par code, notation humaine et modèle juge, et de justifier ce choix par la nature du critère, le coût, la vitesse et la fiabilité.

Les questions auxquelles cette leçon répond

  • Comment choisir entre notation par code, humaine et modèle juge ?

    Utilisez le code pour ce qui se vérifie de façon objective, comme un format, un modèle juge pour les jugements répétitifs à grande échelle, et des humains pour les cas subtils ou à fort enjeu.

  • Quand faut-il faire noter une réponse IA par un humain plutôt qu'un modèle ?

    Quand le jugement demande une expertise métier, porte sur un cas à fort enjeu ou sert de référence pour calibrer un modèle juge. L'humain coûte plus cher mais reste l'étalon.

Thèmes abordés

  • méthodes de notation
  • notation automatique
  • évaluation humaine
  • LLM as a judge
  • grille de notation

Dans le glossaire

Tout le glossaire

Guide sur ce thème

Dans quel module

Noter les réponses

Comment noter chaque critère de façon fiable, et quand faire confiance à un modèle juge ?

Leçons du module

  1. Choisir une méthode de notation par critère (cette leçon)
  2. Concevoir et calibrer un modèle juge

Ce que vous apprendrez dans ce module

Cette leçon fait partie de la formation Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge

  • Choisir, pour chaque critère, une méthode de notation (code, humain, modèle juge) et justifier le compromis entre coût, vitesse et fiabilité.
  • Concevoir un modèle juge (grille, format, modèle différent), identifier ses biais et le calibrer contre des notes humaines.