Évaluer un agent sur des tâches, des essais et des trajectoires
Un agent ne répond pas deux fois de la même façon et peut atteindre le bon résultat par un chemin dangereux, ce qui rend les tests habituels insuffisants. Cette leçon vous apprend à concevoir l'évaluation d'un agent à partir de cas réels, avec des critères et des seuils posés avant de mesurer.
Mis à jour le 29 septembre 2026.
En bref
Évaluer un agent consiste à le faire tourner plusieurs fois sur des tâches tirées de cas réels, puis à vérifier l'état final et le chemin suivi. Comme il ne répond jamais deux fois pareil, on mesure sa fiabilité sur plusieurs essais. Les seuils de réussite se fixent avant de mesurer, pour décider objectivement s'il est prêt.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de concevoir l'évaluation d'un agent : tâches tirées de cas réels, correcteurs sur l'état final, invariants de trajectoire, essais multiples, métriques pass@k et pass^k, et seuils fixés avant la mesure.
Les questions auxquelles cette leçon répond
Comment évaluer un agent IA qui ne répond jamais deux fois pareil ?
En lançant plusieurs essais par tâche et en mesurant la fréquence de réussite plutôt qu'un résultat unique, avec des critères vérifiables sur l'état final.
Quelle différence entre pass@k et pass^k pour évaluer un agent ?
pass@k compte une tâche comme réussie si l'un des k essais aboutit, alors que pass^k exige que chacun d'eux aboutisse. Le second reflète mieux la fiabilité attendue par un utilisateur.
Pourquoi évaluer la trajectoire d'un agent et pas seulement son résultat ?
Parce qu'un agent peut atteindre le bon résultat par un chemin dangereux ou coûteux, par exemple en supprimant des données. Vérifier la trajectoire détecte ces risques.
Thèmes abordés
- évaluation d'agent
- evals
- pass@k
- tests d'agents IA
- seuils de qualité
Dans le glossaire
Guides sur ce thème
- Écrire une spec pour agent IA
Les sections d’une spec qu’un agent de code exécute sans deviner, avec un modèle SPEC.md.
- MCP pour Product Manager
Connecter l’IA à vos outils et cadrer un serveur MCP : outils, permissions, sécurité, avec un modèle de spec.
Dans quel module
Observer et évaluer un agent
Comment reconstituer ce qu'a fait l'agent, et comment savoir qu'il est fiable ?
Leçons du module
- Spécifier la trace d'un run et ses métriques
- Évaluer un agent sur des tâches, des essais et des trajectoires (cette leçon)
Ce que vous apprendrez dans la formation
Cette leçon fait partie de la formation Concevoir des agents et du tool calling fiables
Formations liées
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge
3 h
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Créer un assistant IA pour votre produit
3 h
- IA & ProduitExpertNiveau avancé : pour approfondir et aller plus loin.
Mettre en production et monitorer une fonctionnalité IA
3 h