Module
Module 5 sur 6Leçon 2 sur 2~18 min

Lire les métriques d'un RAG

Quelles métriques suivre pour une fonctionnalité appuyée sur un RAG, et comment elles indiquent l'étape à corriger. Face à une réponse fausse, vous saurez distinguer avec l'équipe technique un problème de recherche d'un problème de génération, au lieu de retoucher le prompt au hasard.

Suivre cette leçon : première formation offerteVoir le programme complet

Objectif de la leçon

À la fin de cette leçon, vous serez capable de choisir les métriques d'une fonctionnalité appuyée sur un RAG (rappel et précision du contexte, fidélité, exactitude de la réponse, exactitude des citations), de savoir lesquelles demandent une référence, et d'en déduire l'étape à corriger.

Thèmes abordés

  • métriques RAG
  • fidélité de la réponse
  • rappel du contexte
  • précision du contexte
  • exactitude des citations

Dans quel module

Choisir les métriques

Quelles métriques lire, et que disent-elles de l'étape à corriger ?

Leçons du module

  1. Lire les métriques d'une classification
  2. Lire les métriques d'un RAG (cette leçon)

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge

  • Traduire l'objectif d'une fonctionnalité IA en critères de succès spécifiques, mesurables, atteignables et pertinents, en tenant compte de la gravité des erreurs.
  • Constituer un jeu de test représentatif à partir du trafic réel, de cas limites et de cas adverses, et justifier sa composition.
  • Annoter le jeu de test avec un guide, mesurer l'accord entre annotateurs, le versionner et le protéger du surajustement.
  • Choisir, pour chaque critère, une méthode de notation (code, humain, modèle juge) et justifier le compromis entre coût, vitesse et fiabilité.
  • Concevoir un modèle juge (grille, format, modèle différent), identifier ses biais et le calibrer contre des notes humaines.
  • Choisir et interpréter les métriques adaptées à une classification et à un RAG, et en déduire l'étape à corriger.
  • Définir la règle de régression, l'articulation entre évaluations hors ligne et en ligne, et des seuils de mise en production fixés avant les résultats.

Formations liées