Sorties non maîtrisées, autonomie excessive et consommation non bornée
Ce que produit un modèle peut devenir une commande, une requête ou une page affichée à quelqu'un d'autre. Cette leçon vous aide à contrôler chaque sortie selon l'endroit où elle sera utilisée, à limiter les outils et les droits de la fonctionnalité au strict nécessaire et à plafonner sa consommation.
Mis à jour le 29 septembre 2026.
En bref
La sortie d'un modèle doit être traitée comme une donnée non fiable, car elle peut devenir une commande, une requête ou une page affichée à un autre utilisateur. Il faut aussi limiter les outils et les droits d'une fonctionnalité IA, et plafonner sa consommation. Pour un PM, ces trois bornes réduisent l'impact d'une erreur ou d'une attaque.
Objectif de la leçon
À la fin de cette leçon, vous serez capable d'associer chaque sortie du modèle à son consommateur et au contrôle qui la rend sûre, de réduire les fonctionnalités, droits et autonomie d'une fonctionnalité IA au nécessaire, et de spécifier les limites qui bornent sa consommation.
Les questions auxquelles cette leçon répond
Pourquoi faut-il contrôler les sorties d'un LLM avant de les utiliser ?
Parce qu'un modèle peut être manipulé ou simplement se tromper. Une sortie insérée telle quelle dans une page, une requête ou une commande peut provoquer une faille classique comme une injection de code.
Comment limiter les droits et l'autonomie d'un agent IA ?
En appliquant le moindre privilège : seulement les outils et les droits nécessaires à la tâche, des actions réversibles par défaut et une validation humaine pour tout ce qui est sensible ou irréversible.
Comment éviter qu'une fonctionnalité IA fasse exploser les coûts ?
En fixant des plafonds : taille des requêtes, nombre d'appels par utilisateur, nombre d'étapes d'un agent et budget global, avec des alertes avant que la limite soit atteinte.
Thèmes abordés
- excessive agency
- gestion des sorties
- moindre privilège
- consommation non bornée
Dans le glossaire
Guide sur ce thème
- Évaluer une fonctionnalité d’IA (evals)
Jeu de cas, critères, LLM-juge, seuils de mise en production et suivi, avec un plan d’evals.
Dans quel module
Données qui sortent, actions qui dérapent
Comment une attaque fait-elle sortir des données ou déclencher des actions, et où la couper ?
Leçons du module
- Exfiltration de données et trifecta létale
- Sorties non maîtrisées, autonomie excessive et consommation non bornée (cette leçon)
Ce que vous apprendrez dans la formation
Cette leçon fait partie de la formation Sécuriser un produit IA : injection de prompt, garde-fous et AI Act
Formations liées
- IA & ProduitExpertNiveau avancé : pour approfondir et aller plus loin.
Concevoir des agents et du tool calling fiables
3 h 30 min
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Construire le business case d'une fonctionnalité IA
2 h 46 min
- Tech pour PMTout publicAucun pré-requis : accessible à toutes et tous.
Expliquer comment fonctionne un produit web, du navigateur au serveur
2 h 30 min