LLM juge (LLM-as-a-judge)
Le LLM juge (LLM-as-a-judge) est une méthode d'évaluation dans laquelle un modèle de langage note ou compare les sorties d'une fonctionnalité IA selon une grille. Il couvre les qualités que le code ne sait pas vérifier : pertinence, ton, fidélité à une source, complétude. Le juge reçoit l'entrée, la sortie et parfois une réponse de référence, puis rend une note accompagnée d'une justification.
Pourquoi c’est important pour un PM
La relecture humaine ne passe pas à l'échelle de centaines de cas à chaque modification de prompt. Un modèle juge rend l'évaluation fréquente abordable, à condition que ses notes concordent avec celles de personnes qui savent reconnaître une bonne réponse. Le PM est responsable de la grille et décide à quel point une mise en production peut dépendre d'un correcteur automatique.
Exemple
Une équipe vérifie que ses comptes rendus de réunion reprennent toutes les décisions. Un modèle juge reçoit la transcription et le compte rendu, et répond à une seule question : une décision de la transcription manque-t-elle, oui ou non, citation à l'appui ? Avant de s'y fier, l'équipe compare ses verdicts à ceux d'un PM sur 50 réunions.
Points clés
- Un juge reste un modèle : il lui faut une grille précise, des exemples et une question étroite par critère.
- Le confronter à des notes humaines sur quelques dizaines de cas et mesurer leur accord avant de lui faire confiance.
- Ses biais connus : préférence pour les réponses longues, pour l'option présentée en premier et pour les sorties de sa propre famille de modèles.
- Un verdict réussi ou échoué, ou une échelle courte, donne des notes plus stables qu'une note sur 10.
Erreurs fréquentes
- Demander au juge « cette réponse est-elle bonne ? » sans critères.
- Noter une réponse avec le modèle et le prompt qui l'ont produite.
- Ne jamais revérifier le juge après avoir changé son modèle ou sa grille.
- Supprimer toute relecture humaine, y compris sur les cas les plus graves.
Pour aller plus loin dans Module
Les formations et les leçons qui traitent cette notion :