Chiffrer le RAG et choisir comment le construire
Le coût d'un RAG ne se limite pas à la facture du modèle, et le mode de construction engage le produit pour longtemps. La leçon aide le PM à identifier les postes de coût, à comparer solutions hébergées, bases de connaissances gérées et développement sur mesure, et à choisir sur des critères qui comptent pour son produit.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de lister les postes de coût d'un RAG et d'arbitrer entre outil hébergé d'un fournisseur de modèles, base de connaissances gérée, recherche vectorielle dans une base existante et pipeline sur mesure.
Thèmes abordés
- coût d'un RAG
- construire ou acheter
- base de connaissances gérée
- recherche vectorielle
Dans quel module
Tester, chiffrer et documenter
Comment prouver que mon RAG marche, combien il coûte, et comment le documenter ?
Leçons du module
- Construire le jeu de 30 questions et diagnostiquer les échecs
- Chiffrer le RAG et choisir comment le construire (cette leçon)
- Documenter l'architecture RAG de votre produit
Ce que vous apprendrez dans la formation
Cette leçon fait partie de la formation Concevoir une architecture RAG adaptée à son produit
- Choisir, pour un besoin d'information, entre contexte long, données injectées par l'application, RAG et fine-tuning, et justifier le choix par le volume, la fréquence de mise à jour, les droits et le coût.
- Spécifier l'inventaire des sources, les exclusions, les métadonnées à capturer et la stratégie de découpage des documents.
- Concevoir la recherche : recherche sémantique, par mots-clés ou hybride, reranking, contextual retrieval, nombre de passages et seuil de pertinence.
- Spécifier la réponse ancrée dans les sources, l'affichage des citations, la gestion des sources contradictoires et le comportement quand rien n'est trouvé.
- Spécifier le filtrage par droits avant que le modèle ne lise un passage, et la fraîcheur de l'index (resynchronisation, suppressions, versions).
- Construire un jeu de 30 questions de test couvrant les modes d'échec d'un RAG et diagnostiquer l'étape responsable d'une mauvaise réponse.
- Estimer les postes de coût d'un RAG et arbitrer entre outil hébergé, base de connaissances gérée, base vectorielle et développement sur mesure.
Formations liées
- Créer un assistant IA pour votre produitConfirmé · ~3 h
- Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-jugeConfirmé · ~3 h
- Mettre en production et monitorer une fonctionnalité IAExpert · ~3 h