Concevoir des agents et du tool calling fiables
Décider quand un agent vaut le coup, puis concevoir les outils, la boucle, les validations humaines, les défenses contre l’injection, les traces et l’évaluation.
Décider quand un agent vaut son coût, et le concevoir pour qu'il agisse sans surprise : choisir entre appel unique, workflow et agent, rédiger des fiches outils que le modèle utilise bien, spécifier la boucle et ses conditions d'arrêt, placer les validations humaines selon le rayon d'impact, parer l'injection par les sorties d'outils, puis tracer et évaluer les runs. Vous repartez avec le dossier d'agent d'un cas réel de votre produit : fiches outils, boucle et points de validation, prêt à relire avec votre équipe technique, sans écrire de code.
Ce que vous saurez faire
- Décider, avec des critères explicites, si un cas d'usage relève d'un appel unique, d'un workflow ou d'un agent, et choisir le motif adapté.
- Rédiger des fiches outils que le modèle utilise bien (nom, description, paramètres, retour, erreurs, idempotence, niveau de risque).
- Spécifier la boucle d'un agent (objectif, contexte, conditions d'arrêt, budgets, gestion des erreurs) et juger le recours à un orchestrateur et à des sous-agents.
- Placer les points de validation humaine et les permissions d'un agent selon le rayon d'impact de chaque action.
- Identifier les chemins d'injection de prompt par les sorties d'outils et spécifier des parades structurelles, hors du seul prompt.
- Spécifier la trace d'un run et l'évaluation d'un agent (succès de la tâche, trajectoire, coût, latence, régularité sur plusieurs essais).
Prérequis
- Savoir ce qu'est une API et avoir déjà lu une spec technique avec une équipe de développement
- Avoir utilisé un LLM pour une tâche professionnelle et connaître la notion d'appel d'outil au niveau « je sais ce que c'est »
- Cours recommandé : Créer un assistant IA pour votre produit (sa leçon sur les outils et les actions est approfondie ici).
- Cours recommandé : Obtenir des sorties IA fiables et exploitables par le produit (contrats de sortie, schémas).
- Ce cours ne s'adresse pas aux développeurs qui cherchent un tutoriel de framework d'agents : les outils et les boucles sont décrits en fiches et en étapes.
Programme
Que vais-je concevoir dans ce cours, et dans quel ordre ?
- Présentation du cours2 étapes
Objectif · À la fin de cette présentation, vous saurez ce que vous allez produire (le dossier d'agent d'un cas réel : décision, fiches outils, boucle, validations, parades, évaluation) et dans quel ordre les six modules vous y conduisent.
Mon cas d'usage justifie-t-il un agent, et sinon quel motif plus simple choisir ?
Objectif · À la fin de cette leçon, vous serez capable de classer un cas d'usage en appel unique, workflow ou agent à l'aide de cinq critères explicites, et de justifier ce choix devant une équipe.
Objectif · À la fin de cette leçon, vous serez capable de reconnaître les cinq motifs de workflow (enchaînement, routage, parallélisation, orchestrateur-exécutants, évaluateur-optimiseur), d'associer chacun à un besoin produit et d'en estimer le coût.
Quels outils donner à l'agent, comment les décrire, et que se passe-t-il quand ils échouent ?
Objectif · À la fin de cette leçon, vous serez capable de concevoir l'ensemble d'outils d'un agent (regroupés par tâche, nommés sans ambiguïté) et de rédiger pour chacun une fiche complète : description, paramètres, retour, niveau de risque et contrôles de l'application.
Objectif · À la fin de cette leçon, vous serez capable de spécifier les messages d'erreur qu'un outil renvoie à l'agent, de rendre idempotents les outils à effet de bord et de décrire le comportement attendu en cas d'expiration ou d'échec partiel.
Comment l'agent avance-t-il, quand s'arrête-t-il, et faut-il plusieurs agents ?
Objectif · À la fin de cette leçon, vous serez capable de spécifier la boucle d'un agent : objectif vérifiable, outils autorisés, conditions d'arrêt, budgets, gestion des échecs et sortie finale.
Objectif · À la fin de cette leçon, vous serez capable de juger si un cas justifie un orchestrateur et des sous-agents plutôt qu'un agent unique, et de rédiger la consigne de délégation d'un sous-agent.
Où l'humain doit-il valider, avec quels droits l'agent agit-il, et comment l'empêcher d'obéir à un contenu piégé ?
Objectif · À la fin de cette leçon, vous serez capable d'évaluer le rayon d'impact de chaque action d'un agent, de placer les points de validation humaine au bon endroit et de limiter les permissions de l'agent à celles de l'utilisateur pour lequel il agit.
Objectif · À la fin de cette leçon, vous serez capable de repérer les chemins par lesquels un contenu tiers entre dans le contexte d'un agent via ses outils, et de spécifier pour chacun des parades structurelles qui ne reposent pas seulement sur le prompt.
Comment reconstituer ce qu'a fait l'agent, et comment savoir qu'il est fiable ?
Objectif · À la fin de cette leçon, vous serez capable de spécifier ce que la trace d'un run doit enregistrer pour reconstituer ce qu'a fait un agent, et de choisir les métriques de run à suivre (succès, étapes, coût, durée, arrêts, validations refusées).
Objectif · À la fin de cette leçon, vous serez capable de concevoir l'évaluation d'un agent : tâches tirées de cas réels, correcteurs sur l'état final, invariants de trajectoire, essais multiples, métriques pass@k et pass^k, et seuils fixés avant la mesure.
Comment assembler le dossier d'agent d'un cas réel de mon produit, et l'appliquer dans les 30 prochains jours ?
Objectif · À la fin de cette leçon, vous serez capable d'assembler le dossier d'agent d'un cas réel de votre produit (décision, workflow, fiches outils, boucle, matrice de contrôle, parades contre l'injection, trace et évaluation), de l'auto-évaluer et de planifier son application à 7 et 30 jours.