Concevoir et calibrer un modèle juge
Comment spécifier un modèle juge, repérer ses biais et vérifier qu'il note comme vos experts avant de lui confier des milliers de réponses. Un juge mal réglé produit des scores flatteurs qui peuvent faire valider une version défaillante ; savoir l'auditer vous permet de poser les bonnes questions à l'équipe qui l'a construit.
Mis à jour le 29 septembre 2026.
En bref
Un modèle juge (LLM as a judge) est un modèle de langage chargé de noter les réponses d'un autre selon une grille. Il permet d'évaluer des milliers de réponses, mais il a des biais et peut produire des scores flatteurs. Avant de lui faire confiance, on vérifie que ses notes concordent avec celles d'experts humains sur un échantillon.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de spécifier un modèle juge (grille, format de notation, choix du modèle), d'identifier ses biais et de le calibrer contre des notes humaines avant de lui confier l'évaluation à grande échelle.
Les questions auxquelles cette leçon répond
Comment concevoir une grille pour un modèle juge fiable ?
Une grille fiable porte sur un critère à la fois, définit chaque niveau de note avec des exemples concrets et demande au juge de justifier sa note avant de la donner.
Quels sont les biais d'un LLM-juge, et comment les éviter ?
Il tend notamment à préférer les réponses longues, la première option présentée ou ses propres formulations. Des grilles précises, l'inversion de l'ordre et la calibration humaine limitent ces effets.
Comment calibrer un modèle juge contre des notes humaines ?
Faites noter le même échantillon par des experts et par le juge, mesurez leur accord, puis ajustez la grille ou le juge jusqu'à ce que l'écart soit acceptable.
Thèmes abordés
- LLM as a judge
- modèle juge
- biais du juge
- calibration du juge
- grille d'évaluation
Dans le glossaire
Guide sur ce thème
- Évaluer une fonctionnalité d’IA (evals)
Jeu de cas, critères, LLM-juge, seuils de mise en production et suivi, avec un plan d’evals.
Dans quel module
Noter les réponses
Comment noter chaque critère de façon fiable, et quand faire confiance à un modèle juge ?
Leçons du module
- Choisir une méthode de notation par critère
- Concevoir et calibrer un modèle juge (cette leçon)
Ce que vous apprendrez dans la formation
Cette leçon fait partie de la formation Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge
Formations liées
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Créer un assistant IA pour votre produit
3 h
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Concevoir une architecture RAG adaptée à son produit
3 h 30 min
- IA & ProduitExpertNiveau avancé : pour approfondir et aller plus loin.
Mettre en production et monitorer une fonctionnalité IA
3 h