Red teaming, surveillance des abus et réponse à incident

Objectif de la leçon

À la fin de cette leçon, vous serez capable de planifier une campagne de red teaming et le jeu de test adverse qui en sort, de choisir les signaux de surveillance des abus en production, et de rédiger le runbook d'incident d'une fonctionnalité IA, coupe-circuit et notifications compris.

Dans quel module

Garde-fous et opérations de sécurité

Quels garde-fous spécifier, comment savoir s'ils tiennent, et que faire le jour de l'incident ?

Leçons du module

1. Spécifier des garde-fous en couches, testables et chiffrés
2. Red teaming, surveillance des abus et réponse à incident (cette leçon)

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Sécuriser un produit IA : injection de prompt, garde-fous et AI Act

• Cartographier la surface d'attaque d'un produit IA et ses risques avec l'OWASP Top 10 pour les applications LLM 2025, dans un registre des risques priorisé.
• Analyser les chemins d'injection de prompt directe et indirecte, de fuite du system prompt et d'exfiltration de données (trifecta létale) d'un produit.
• Spécifier des garde-fous en couches (entrée, sortie, droits, validation humaine, isolation, limites) avec des critères testables et leur coût.
• Planifier le red teaming, la surveillance des abus et la réponse à incident d'une fonctionnalité IA.
• Qualifier un produit au regard de l'AI Act (rôle, niveau de risque, pratiques interdites, transparence, calendrier) et articuler cette analyse avec le RGPD.

Formations liées

• Créer un assistant IA pour votre produitConfirmé · ~3 h
• Concevoir une architecture RAG adaptée à son produitConfirmé · ~3 h 30 min
• Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-jugeConfirmé · ~3 h