Aller au contenu
Module
Module 6 sur 6Leçon 1 sur 4~15 min

Concevoir le plan d'évaluation

Tester quelques questions à la main ne dit pas si votre assistant est prêt, ni s'il régresse à la prochaine modification. Cette leçon vous apprend à concevoir un plan d'évaluation rejouable, avec des critères clairs, une façon de noter chacun et des règles de mise en production fixées à l'avance.

Mis à jour le 28 septembre 2026.

En bref

Évaluer un assistant IA, c'est le tester de façon rejouable sur un jeu de questions représentatif, selon des critères explicites, chacun noté de manière définie, avec un niveau minimal à atteindre avant le lancement décidé d'avance. Quelques essais à la main ne disent ni s'il est prêt, ni s'il régresse à la prochaine modification du prompt ou du modèle.

Objectif de la leçon

À la fin de cette leçon, vous serez capable de concevoir un plan d'évaluation : composition du jeu d'évaluation, critères, méthode de notation par critère, seuils de mise en production et règle de régression.

Les questions auxquelles cette leçon répond

  • Comment évaluer un assistant IA avant de le mettre en production ?

    En le passant sur un jeu de questions représentatif, noté selon des critères clairs comme la justesse ou le respect du périmètre, et en décidant à l'avance du niveau requis pour lancer.

  • Comment constituer un jeu d'évaluation pour tester un chatbot ?

    En réunissant des questions réelles ou réalistes : cas fréquents, cas difficiles, demandes hors périmètre et tentatives de détournement, chacune associée au comportement attendu.

  • Comment détecter qu'un assistant IA régresse après une modification ?

    En rejouant le même jeu d'évaluation à chaque évolution de l'assistant, qu'il s'agisse des instructions, du modèle ou des sources, et en comparant les scores à la version précédente avant de déployer.

Thèmes abordés

  • évaluation d'un assistant IA
  • evals LLM
  • jeu d'évaluation
  • LLM juge
  • seuils de mise en production

Dans le glossaire

Tout le glossaire

Guide sur ce thème

Dans quel module

Évaluer, livrer, piloter

Comment savoir si l'assistant est prêt, le lancer sans risque et l'améliorer ?

Leçons du module

  1. Concevoir le plan d'évaluation (cette leçon)
  2. Choisir comment le construire
  3. Lancer et piloter en production
  4. Assembler le dossier de conception

Ce que vous apprendrez dans ce module

Cette leçon fait partie de la formation Créer un assistant IA pour votre produit

  • Identifier un cas d'usage qui justifie un assistant IA et rédiger sa fiche de cadrage (problème, utilisateurs, actions autorisées, hors-périmètre, critères de succès).
  • Concevoir l'expérience conversationnelle : point d'entrée, ton, gestion de l'incertitude, escalade vers un humain et format des réponses.
  • Choisir et justifier une stratégie de connaissance (instructions, contexte injecté, RAG, fine-tuning) et de mémoire conversationnelle.
  • Spécifier les outils et actions de l'assistant (données lues, actions écrites, confirmation, permissions) et choisir comment le construire.
  • Identifier les risques (injection, fuite, actions excessives, coûts) et concevoir des garde-fous en couches, en dehors du seul prompt.
  • Concevoir un plan d'évaluation avec jeu d'évaluation, critères, méthode de notation, seuils de mise en production et règle de régression.
  • Définir les métriques de production (produit, qualité, coût, latence), les seuils d'alerte et la boucle entre retours utilisateurs et jeu d'évaluation.