Aller au contenu
Module
Module 6 sur 6Leçon 1 sur 3~22 min

Construire le jeu de 30 questions et diagnostiquer les échecs

Sans jeu de test, impossible de savoir si un RAG progresse ni de comparer deux solutions. Cette leçon montre au PM comment bâtir des questions de test qui couvrent les différentes façons dont un RAG échoue, puis comment remonter d'une mauvaise réponse jusqu'à l'étape du pipeline qui en est responsable.

Mis à jour le 29 septembre 2026.

En bref

Un jeu de test RAG est un ensemble de questions représentatives, avec la réponse attendue et les sources qui la justifient, rejoué à chaque changement. Il permet de savoir si le système progresse, de comparer deux solutions et de localiser l'étape fautive quand une réponse est mauvaise. Sans lui, on juge la qualité à l'impression.

Objectif de la leçon

À la fin de cette leçon, vous serez capable de construire un jeu de 30 questions de test qui couvre les modes d'échec d'un RAG, et de diagnostiquer l'étape responsable d'une mauvaise réponse (recherche, classement, fraîcheur, génération).

Les questions auxquelles cette leçon répond

  • Comment construire un jeu de test pour un RAG ?

    Rassemblez des questions réelles d'utilisateurs, ajoutez des cas difficiles, notez pour chacune la réponse attendue et la source qui la justifie, puis rejouez l'ensemble à chaque changement.

  • Comment diagnostiquer une mauvaise réponse dans un RAG ?

    Vérifiez d'abord si le bon passage a été retrouvé, puis s'il était bien classé, à jour, et enfin si le modèle l'a correctement utilisé. Chaque étape a ses propres correctifs.

  • Quelles questions inclure dans un jeu de test RAG ?

    Des questions fréquentes, des questions sans réponse dans le corpus, des termes exacts, des cas de droits d'accès et de contenus récemment modifiés : chaque mode d'échec doit être couvert.

Thèmes abordés

  • évaluation RAG
  • jeu de test
  • modes d'échec
  • fidélité de la réponse
  • rappel du contexte

Dans le glossaire

Tout le glossaire

Guide sur ce thème

Dans quel module

Tester, chiffrer et documenter

Comment prouver que mon RAG marche, combien il coûte, et comment le documenter ?

Leçons du module

  1. Construire le jeu de 30 questions et diagnostiquer les échecs (cette leçon)
  2. Chiffrer le RAG et choisir comment le construire
  3. Documenter l'architecture RAG de votre produit

Ce que vous apprendrez dans ce module

Cette leçon fait partie de la formation Concevoir une architecture RAG adaptée à son produit

  • Choisir, pour un besoin d'information, entre contexte long, données injectées par l'application, RAG et fine-tuning, et justifier le choix par le volume, la fréquence de mise à jour, les droits et le coût.
  • Spécifier l'inventaire des sources, les exclusions, les métadonnées à capturer et la stratégie de découpage des documents.
  • Concevoir la recherche : recherche sémantique, par mots-clés ou hybride, reranking, contextual retrieval, nombre de passages et seuil de pertinence.
  • Spécifier la réponse ancrée dans les sources, l'affichage des citations, la gestion des sources contradictoires et le comportement quand rien n'est trouvé.
  • Spécifier le filtrage par droits avant que le modèle ne lise un passage, et la fraîcheur de l'index (resynchronisation, suppressions, versions).
  • Construire un jeu de 30 questions de test couvrant les modes d'échec d'un RAG et diagnostiquer l'étape responsable d'une mauvaise réponse.
  • Estimer les postes de coût d'un RAG et arbitrer entre outil hébergé, base de connaissances gérée, base vectorielle et développement sur mesure.