Construire le jeu de 30 questions et diagnostiquer les échecs
Sans jeu de test, impossible de savoir si un RAG progresse ni de comparer deux solutions. Cette leçon montre au PM comment bâtir des questions de test qui couvrent les différentes façons dont un RAG échoue, puis comment remonter d'une mauvaise réponse jusqu'à l'étape du pipeline qui en est responsable.
Mis à jour le 29 septembre 2026.
En bref
Un jeu de test RAG est un ensemble de questions représentatives, avec la réponse attendue et les sources qui la justifient, rejoué à chaque changement. Il permet de savoir si le système progresse, de comparer deux solutions et de localiser l'étape fautive quand une réponse est mauvaise. Sans lui, on juge la qualité à l'impression.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de construire un jeu de 30 questions de test qui couvre les modes d'échec d'un RAG, et de diagnostiquer l'étape responsable d'une mauvaise réponse (recherche, classement, fraîcheur, génération).
Les questions auxquelles cette leçon répond
Comment construire un jeu de test pour un RAG ?
Rassemblez des questions réelles d'utilisateurs, ajoutez des cas difficiles, notez pour chacune la réponse attendue et la source qui la justifie, puis rejouez l'ensemble à chaque changement.
Comment diagnostiquer une mauvaise réponse dans un RAG ?
Vérifiez d'abord si le bon passage a été retrouvé, puis s'il était bien classé, à jour, et enfin si le modèle l'a correctement utilisé. Chaque étape a ses propres correctifs.
Quelles questions inclure dans un jeu de test RAG ?
Des questions fréquentes, des questions sans réponse dans le corpus, des termes exacts, des cas de droits d'accès et de contenus récemment modifiés : chaque mode d'échec doit être couvert.
Thèmes abordés
- évaluation RAG
- jeu de test
- modes d'échec
- fidélité de la réponse
- rappel du contexte
Dans le glossaire
Guide sur ce thème
- RAG ou fine-tuning : comment choisir
Ce que règle chaque approche, les critères de choix et comment évaluer, avec une grille de décision.
Dans quel module
Tester, chiffrer et documenter
Comment prouver que mon RAG marche, combien il coûte, et comment le documenter ?
Leçons du module
- Construire le jeu de 30 questions et diagnostiquer les échecs (cette leçon)
- Chiffrer le RAG et choisir comment le construire
- Documenter l'architecture RAG de votre produit
Ce que vous apprendrez dans ce module
Cette leçon fait partie de la formation Concevoir une architecture RAG adaptée à son produit
- Choisir, pour un besoin d'information, entre contexte long, données injectées par l'application, RAG et fine-tuning, et justifier le choix par le volume, la fréquence de mise à jour, les droits et le coût.
- Spécifier l'inventaire des sources, les exclusions, les métadonnées à capturer et la stratégie de découpage des documents.
- Concevoir la recherche : recherche sémantique, par mots-clés ou hybride, reranking, contextual retrieval, nombre de passages et seuil de pertinence.
- Spécifier la réponse ancrée dans les sources, l'affichage des citations, la gestion des sources contradictoires et le comportement quand rien n'est trouvé.
- Spécifier le filtrage par droits avant que le modèle ne lise un passage, et la fraîcheur de l'index (resynchronisation, suppressions, versions).
- Construire un jeu de 30 questions de test couvrant les modes d'échec d'un RAG et diagnostiquer l'étape responsable d'une mauvaise réponse.
- Estimer les postes de coût d'un RAG et arbitrer entre outil hébergé, base de connaissances gérée, base vectorielle et développement sur mesure.
Formations liées
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Créer un assistant IA pour votre produit
3 h
- Tech pour PMTout publicAucun pré-requis : accessible à toutes et tous.
Expliquer comment fonctionne un produit web, du navigateur au serveur
2 h 30 min
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge
3 h