Concevoir le plan d'évaluation
Tester quelques questions à la main ne dit pas si votre assistant est prêt, ni s'il régresse à la prochaine modification. Cette leçon vous apprend à concevoir un plan d'évaluation rejouable, avec des critères clairs, une façon de noter chacun et des règles de mise en production fixées à l'avance.
Mis à jour le 28 septembre 2026.
En bref
Évaluer un assistant IA, c'est le tester de façon rejouable sur un jeu de questions représentatif, selon des critères explicites, chacun noté de manière définie, avec un niveau minimal à atteindre avant le lancement décidé d'avance. Quelques essais à la main ne disent ni s'il est prêt, ni s'il régresse à la prochaine modification du prompt ou du modèle.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de concevoir un plan d'évaluation : composition du jeu d'évaluation, critères, méthode de notation par critère, seuils de mise en production et règle de régression.
Les questions auxquelles cette leçon répond
Comment évaluer un assistant IA avant de le mettre en production ?
En le passant sur un jeu de questions représentatif, noté selon des critères clairs comme la justesse ou le respect du périmètre, et en décidant à l'avance du niveau requis pour lancer.
Comment constituer un jeu d'évaluation pour tester un chatbot ?
En réunissant des questions réelles ou réalistes : cas fréquents, cas difficiles, demandes hors périmètre et tentatives de détournement, chacune associée au comportement attendu.
Comment détecter qu'un assistant IA régresse après une modification ?
En rejouant le même jeu d'évaluation à chaque évolution de l'assistant, qu'il s'agisse des instructions, du modèle ou des sources, et en comparant les scores à la version précédente avant de déployer.
Thèmes abordés
- évaluation d'un assistant IA
- evals LLM
- jeu d'évaluation
- LLM juge
- seuils de mise en production
Dans le glossaire
Guide sur ce thème
- RAG ou fine-tuning : comment choisir
Ce que règle chaque approche, les critères de choix et comment évaluer, avec une grille de décision.
Dans quel module
Évaluer, livrer, piloter
Comment savoir si l'assistant est prêt, le lancer sans risque et l'améliorer ?
Leçons du module
- Concevoir le plan d'évaluation (cette leçon)
- Choisir comment le construire
- Lancer et piloter en production
- Assembler le dossier de conception
Ce que vous apprendrez dans ce module
Cette leçon fait partie de la formation Créer un assistant IA pour votre produit
- Identifier un cas d'usage qui justifie un assistant IA et rédiger sa fiche de cadrage (problème, utilisateurs, actions autorisées, hors-périmètre, critères de succès).
- Concevoir l'expérience conversationnelle : point d'entrée, ton, gestion de l'incertitude, escalade vers un humain et format des réponses.
- Choisir et justifier une stratégie de connaissance (instructions, contexte injecté, RAG, fine-tuning) et de mémoire conversationnelle.
- Spécifier les outils et actions de l'assistant (données lues, actions écrites, confirmation, permissions) et choisir comment le construire.
- Identifier les risques (injection, fuite, actions excessives, coûts) et concevoir des garde-fous en couches, en dehors du seul prompt.
- Concevoir un plan d'évaluation avec jeu d'évaluation, critères, méthode de notation, seuils de mise en production et règle de régression.
- Définir les métriques de production (produit, qualité, coût, latence), les seuils d'alerte et la boucle entre retours utilisateurs et jeu d'évaluation.
Formations liées
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge
3 h
- IA & ProduitExpertNiveau avancé : pour approfondir et aller plus loin.
Concevoir des agents et du tool calling fiables
3 h 30 min
- IA & ProduitExpertNiveau avancé : pour approfondir et aller plus loin.
Mettre en production et monitorer une fonctionnalité IA
3 h