Garde-fous IA (guardrails)
Les garde-fous IA (guardrails) sont les contrôles placés autour d'un modèle de langage pour maintenir le comportement d'un produit dans des limites acceptables. Ils agissent à plusieurs endroits : contrôle des entrées (abus, tentatives d'injection, données personnelles), limites sur ce que le modèle peut consulter ou faire, contrôle des sorties (contenus interdits, fuites de données, formats invalides) avant que quoi que ce soit n'atteigne l'utilisateur ou un autre système. Aucun garde-fou ne suffit seul : on les combine en couches.
Pourquoi c’est important pour un PM
Les garde-fous traduisent la tolérance au risque d'un produit en règles précises et testables. Le PM décide quels préjudices comptent pour ce cas d'usage, lesquels bloquer et lesquels seulement journaliser, quel message s'affiche quand une demande est refusée, et combien de latence et de coût chaque contrôle peut ajouter. Sans ce cadrage, les garde-fous sont soit trop faibles pour servir, soit si stricts que la fonctionnalité devient inutilisable.
Exemple
Le chatbot d'une banque repère et masque les numéros de compte dans les messages, limite le modèle à des outils en lecture seule, vérifie chaque réponse contre le catalogue de produits avant affichage et passe la main à un conseiller dès qu'un client évoque une fraude. Chaque couche est testée avec son propre jeu de cas.
Points clés
- Défense en profondeur : partir du principe que chaque couche échouera parfois et qu'une autre doit rattraper le problème.
- Les règles déterministes (permissions, listes autorisées, validation de format) sont plus fiables que les filtres fondés sur un modèle.
- Chaque filtre a un taux de faux positifs qui dégrade l'expérience : il faut le mesurer.
- La supervision et une procédure d'incident sont aussi des garde-fous, pour les échecs qui passent au travers.
Erreurs fréquentes
- S'en remettre uniquement aux protections intégrées au modèle.
- Ajouter des filtres sans jeu de test, si bien que personne ne sait ce qu'ils bloquent.
- Écrire des messages de refus qui laissent l'utilisateur sans solution.
Pour aller plus loin dans Module
Les formations et les leçons qui traitent cette notion :