Spécifier la réponse citée et le « non trouvé »
La confiance dans un assistant IA se gagne ou se perd au moment où il répond, surtout quand il ne sait pas. Cette leçon montre au PM comment spécifier l'ancrage dans les sources, l'affichage des citations, l'arbitrage entre documents contradictoires et le parcours complet lorsque rien de pertinent n'est trouvé.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de spécifier comment l'assistant répond à partir des passages : ancrage, format des citations, règle en cas de sources contradictoires et comportement quand rien de pertinent n'est trouvé.
Thèmes abordés
- réponse citée
- hallucinations LLM
- ancrage dans les sources
- citations RAG
- UX assistant IA
Dans quel module
Retrouver et répondre
Comment retrouver les bons passages, et comment l'assistant doit-il répondre à partir d'eux ?
Leçons du module
- Améliorer la recherche avec l'hybride, le reranking et le contexte
- Spécifier la réponse citée et le « non trouvé » (cette leçon)
Ce que vous apprendrez dans la formation
Cette leçon fait partie de la formation Concevoir une architecture RAG adaptée à son produit
- Choisir, pour un besoin d'information, entre contexte long, données injectées par l'application, RAG et fine-tuning, et justifier le choix par le volume, la fréquence de mise à jour, les droits et le coût.
- Spécifier l'inventaire des sources, les exclusions, les métadonnées à capturer et la stratégie de découpage des documents.
- Concevoir la recherche : recherche sémantique, par mots-clés ou hybride, reranking, contextual retrieval, nombre de passages et seuil de pertinence.
- Spécifier la réponse ancrée dans les sources, l'affichage des citations, la gestion des sources contradictoires et le comportement quand rien n'est trouvé.
- Spécifier le filtrage par droits avant que le modèle ne lise un passage, et la fraîcheur de l'index (resynchronisation, suppressions, versions).
- Construire un jeu de 30 questions de test couvrant les modes d'échec d'un RAG et diagnostiquer l'étape responsable d'une mauvaise réponse.
- Estimer les postes de coût d'un RAG et arbitrer entre outil hébergé, base de connaissances gérée, base vectorielle et développement sur mesure.
Formations liées
- Créer un assistant IA pour votre produitConfirmé · ~3 h
- Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-jugeConfirmé · ~3 h
- Mettre en production et monitorer une fonctionnalité IAExpert · ~3 h