Choisir une méthode de notation par critère
Code, relecture humaine ou modèle juge : comment choisir la façon de noter chaque critère d'une fonctionnalité IA. Ce choix pèse sur le coût, la vitesse et la fiabilité de vos évaluations, et c'est une discussion concrète à mener avec les ingénieurs avant qu'ils construisent la chaîne de notation.
Mis à jour le 29 septembre 2026.
En bref
Une réponse d'IA peut être notée par du code, par un humain ou par un modèle juge. Le code est rapide et fiable pour ce qui se vérifie mécaniquement, l'humain reste la référence pour les jugements fins, le modèle juge permet de passer à l'échelle une fois calibré. Le bon choix dépend de chaque critère, du coût et de la vitesse attendue.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de choisir, pour chaque critère, entre notation par code, notation humaine et modèle juge, et de justifier ce choix par la nature du critère, le coût, la vitesse et la fiabilité.
Les questions auxquelles cette leçon répond
Comment choisir entre notation par code, humaine et modèle juge ?
Utilisez le code pour ce qui se vérifie de façon objective, comme un format, un modèle juge pour les jugements répétitifs à grande échelle, et des humains pour les cas subtils ou à fort enjeu.
Quand faut-il faire noter une réponse IA par un humain plutôt qu'un modèle ?
Quand le jugement demande une expertise métier, porte sur un cas à fort enjeu ou sert de référence pour calibrer un modèle juge. L'humain coûte plus cher mais reste l'étalon.
Thèmes abordés
- méthodes de notation
- notation automatique
- évaluation humaine
- LLM as a judge
- grille de notation
Dans le glossaire
Guide sur ce thème
- Évaluer une fonctionnalité d’IA (evals)
Jeu de cas, critères, LLM-juge, seuils de mise en production et suivi, avec un plan d’evals.
Dans quel module
Noter les réponses
Comment noter chaque critère de façon fiable, et quand faire confiance à un modèle juge ?
Leçons du module
- Choisir une méthode de notation par critère (cette leçon)
- Concevoir et calibrer un modèle juge
Ce que vous apprendrez dans ce module
Cette leçon fait partie de la formation Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge
- Choisir, pour chaque critère, une méthode de notation (code, humain, modèle juge) et justifier le compromis entre coût, vitesse et fiabilité.
- Concevoir un modèle juge (grille, format, modèle différent), identifier ses biais et le calibrer contre des notes humaines.
Formations liées
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Créer un assistant IA pour votre produit
3 h
- IA & ProduitExpertNiveau avancé : pour approfondir et aller plus loin.
Mettre en production et monitorer une fonctionnalité IA
3 h
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Obtenir des sorties IA fiables et exploitables par le produit (JSON, schémas, appels de fonction)
2 h 30 min