Aller au contenu
Module
Module 4 sur 6Leçon 2 sur 2~24 min

Concevoir et calibrer un modèle juge

Comment spécifier un modèle juge, repérer ses biais et vérifier qu'il note comme vos experts avant de lui confier des milliers de réponses. Un juge mal réglé produit des scores flatteurs qui peuvent faire valider une version défaillante ; savoir l'auditer vous permet de poser les bonnes questions à l'équipe qui l'a construit.

Mis à jour le 29 septembre 2026.

En bref

Un modèle juge (LLM as a judge) est un modèle de langage chargé de noter les réponses d'un autre selon une grille. Il permet d'évaluer des milliers de réponses, mais il a des biais et peut produire des scores flatteurs. Avant de lui faire confiance, on vérifie que ses notes concordent avec celles d'experts humains sur un échantillon.

Objectif de la leçon

À la fin de cette leçon, vous serez capable de spécifier un modèle juge (grille, format de notation, choix du modèle), d'identifier ses biais et de le calibrer contre des notes humaines avant de lui confier l'évaluation à grande échelle.

Les questions auxquelles cette leçon répond

  • Comment concevoir une grille pour un modèle juge fiable ?

    Une grille fiable porte sur un critère à la fois, définit chaque niveau de note avec des exemples concrets et demande au juge de justifier sa note avant de la donner.

  • Quels sont les biais d'un LLM-juge, et comment les éviter ?

    Il tend notamment à préférer les réponses longues, la première option présentée ou ses propres formulations. Des grilles précises, l'inversion de l'ordre et la calibration humaine limitent ces effets.

  • Comment calibrer un modèle juge contre des notes humaines ?

    Faites noter le même échantillon par des experts et par le juge, mesurez leur accord, puis ajustez la grille ou le juge jusqu'à ce que l'écart soit acceptable.

Thèmes abordés

  • LLM as a judge
  • modèle juge
  • biais du juge
  • calibration du juge
  • grille d'évaluation

Dans le glossaire

Tout le glossaire

Guide sur ce thème

Dans quel module

Noter les réponses

Comment noter chaque critère de façon fiable, et quand faire confiance à un modèle juge ?

Leçons du module

  1. Choisir une méthode de notation par critère
  2. Concevoir et calibrer un modèle juge (cette leçon)

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge