Spécifier la trace d'un run et ses métriques
Quand un agent se trompe en production, il faut pouvoir comprendre ce qu'il a vu, décidé et exécuté, étape par étape. Cette leçon vous apprend à spécifier ce que la trace d'une exécution doit conserver et à choisir les indicateurs qui vous diront si l'agent tient ses promesses en coût, en durée et en réussite.
Mis à jour le 29 septembre 2026.
En bref
La trace d'un run enregistre, étape par étape, ce que l'agent a reçu, décidé, appelé et obtenu, pour pouvoir reconstituer son raisonnement après coup. Associée à quelques métriques comme le taux de succès, le nombre d'étapes, le coût et la durée, elle permet de savoir si l'agent tient ses promesses en production et de comprendre ses erreurs.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de spécifier ce que la trace d'un run doit enregistrer pour reconstituer ce qu'a fait un agent, et de choisir les métriques de run à suivre (succès, étapes, coût, durée, arrêts, validations refusées).
Les questions auxquelles cette leçon répond
Que doit enregistrer la trace d'exécution d'un agent IA ?
Les entrées, chaque appel d'outil avec ses paramètres et son résultat, les décisions du modèle, les erreurs, les validations demandées et la sortie finale, avec horodatage et coût.
Quelles métriques suivre pour un agent IA en production ?
Le taux de réussite, le nombre d'étapes, le coût et la durée par exécution, les arrêts sur budget et les validations humaines refusées, suivis dans le temps.
Comment comprendre après coup pourquoi un agent s'est trompé ?
En relisant sa trace d'exécution : on y voit ce qu'il a reçu, quel outil il a appelé, ce que l'outil a renvoyé et à quel moment le raisonnement a dévié.
Thèmes abordés
- observabilité des agents
- traces LLM
- métriques d'agent
- monitoring IA
- agents IA
Dans le glossaire
Guides sur ce thème
- Écrire une spec pour agent IA
Les sections d’une spec qu’un agent de code exécute sans deviner, avec un modèle SPEC.md.
- MCP pour Product Manager
Connecter l’IA à vos outils et cadrer un serveur MCP : outils, permissions, sécurité, avec un modèle de spec.
Dans quel module
Observer et évaluer un agent
Comment reconstituer ce qu'a fait l'agent, et comment savoir qu'il est fiable ?
Leçons du module
- Spécifier la trace d'un run et ses métriques (cette leçon)
- Évaluer un agent sur des tâches, des essais et des trajectoires
Ce que vous apprendrez dans ce module
Cette leçon fait partie de la formation Concevoir des agents et du tool calling fiables
- Spécifier la trace d'un run et l'évaluation d'un agent (succès de la tâche, trajectoire, coût, latence, régularité sur plusieurs essais).
Formations liées
- IA & ProduitExpertNiveau avancé : pour approfondir et aller plus loin.
Mettre en production et monitorer une fonctionnalité IA
3 h
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Créer un assistant IA pour votre produit
3 h
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Sécuriser un produit IA : injection de prompt, garde-fous et AI Act
3 h