Module
Module 6 sur 6Leçon 1 sur 3~22 min

Construire le jeu de 30 questions et diagnostiquer les échecs

Sans jeu de test, impossible de savoir si un RAG progresse ni de comparer deux solutions. Cette leçon montre au PM comment bâtir des questions de test qui couvrent les différentes façons dont un RAG échoue, puis comment remonter d'une mauvaise réponse jusqu'à l'étape du pipeline qui en est responsable.

Suivre cette leçon : première formation offerteVoir le programme complet

Objectif de la leçon

À la fin de cette leçon, vous serez capable de construire un jeu de 30 questions de test qui couvre les modes d'échec d'un RAG, et de diagnostiquer l'étape responsable d'une mauvaise réponse (recherche, classement, fraîcheur, génération).

Thèmes abordés

  • évaluation RAG
  • jeu de test
  • modes d'échec
  • fidélité de la réponse
  • rappel du contexte

Dans quel module

Tester, chiffrer et documenter

Comment prouver que mon RAG marche, combien il coûte, et comment le documenter ?

Leçons du module

  1. Construire le jeu de 30 questions et diagnostiquer les échecs (cette leçon)
  2. Chiffrer le RAG et choisir comment le construire
  3. Documenter l'architecture RAG de votre produit

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Concevoir une architecture RAG adaptée à son produit

  • Choisir, pour un besoin d'information, entre contexte long, données injectées par l'application, RAG et fine-tuning, et justifier le choix par le volume, la fréquence de mise à jour, les droits et le coût.
  • Spécifier l'inventaire des sources, les exclusions, les métadonnées à capturer et la stratégie de découpage des documents.
  • Concevoir la recherche : recherche sémantique, par mots-clés ou hybride, reranking, contextual retrieval, nombre de passages et seuil de pertinence.
  • Spécifier la réponse ancrée dans les sources, l'affichage des citations, la gestion des sources contradictoires et le comportement quand rien n'est trouvé.
  • Spécifier le filtrage par droits avant que le modèle ne lise un passage, et la fraîcheur de l'index (resynchronisation, suppressions, versions).
  • Construire un jeu de 30 questions de test couvrant les modes d'échec d'un RAG et diagnostiquer l'étape responsable d'une mauvaise réponse.
  • Estimer les postes de coût d'un RAG et arbitrer entre outil hébergé, base de connaissances gérée, base vectorielle et développement sur mesure.

Formations liées