Formation Gouvernance et sécurité opérationnelle de l'IA Générative

Jour 1 - Matin

Taxonomie et fondamentaux de l'IA Générative

• Architectures des modèles génératifs :
• LLM
• Diffusion
• Multimodal
• Fonctionnement d'un LLM :
• Tokenization
• Inférence
• Contexte
• Température
• Panorama des modèles récents :
• GPT
• Claude
• Gemini
• Llama
• Mistral
• Cas d'usage entreprise :
• Génération de code
• RAG
• Agents autonomes
• Assistants conversationnels
• Différence entre fine-tuning, prompt engineering et RAG

Cadre réglementaire européen et international

• Les 9 principes de gouvernance de l'Intelligence Artificielle (IA)
• Mise en place d'un comité de gouvernance IA cross-fonctionnel
• Rôles et responsabilités
• Cycle de vie d'un système IA
• Documentation :
• Model Cards
• System Cards
• Registre des traitements IA
• Evaluation de la maturité IA de l'organisation

Exemples de travaux pratiques (à titre indicatif)

• Cartographier les systèmes IA d'une entreprise proposée par les stagiaires ou le formateur
• Attribuer les niveaux de risque EU AI Act
• Définir la structure de gouvernance associée :
• Comité
• Rôles
• Processus de validation

Jour 1 - Après-midi

Shadow AI : détection et maîtrise

• Définition, périmètre et statistiques du Shadow AI
• Risques associés :
• Fuite de données
• Non-conformité
• Absence d'audit trail
• Framework en 5 piliers :
• Accept
• Enable
• Assess
• Restrict
• Eliminate
• Outils de détection et de monitoring du Shadow AI
• Politique d'usage acceptable de l'IA et programme de sensibilisation

Exemples de travaux pratiques (à titre indicatif)

• Réaliser un audit Shadow AI sur un scénario d'entreprise :
• Inventaire des usages non sanctionnés
• Classification des risques
• Rédaction d'une politique d'usage acceptable

Gestion des risques de l'IA Générative

• Taxonomie des risques appliqués à l'IA Générative :
• Biais
• Hallucinations
• Fuite de données
• Manipulation
• Sur-autonomie des agents NIST AI RMF (Risk Management Framework)
• Analyse d'impact sur les droits fondamentaux (FRIA)
• Risques spécifiques aux systèmes RAG :
• Empoisonnement de données
• Manipulation de contexte...
• Risques des agents IA autonomes :
• Excessive Agency
• Escalade de privilèges...
• Risques liés à la Supply Chain IA :
• Modèles tiers
• Dépendances
• Intégrité des poids...
• Matrice de risques et plan de traitement

Exemples de travaux pratiques (à titre indicatif)

• Conduire une analyse de risques complète sur un cas d'usage d'IA Générative (chatbot RAG interne) en appliquant le framework NIST AI RMF :
• Identification des risques
• Evaluation
• Mesures de mitigation

Jour 2 - Matin

OWASP Top 10 LLM : vulnérabilités et contre-mesures

• LLM01 : Prompt Injection (directe et indirecte)
• LLM02 : Sensitive Information Disclosure
• LLM03 : Supply Chain Vulnerabilities
• LLM04 : Data and Model Poisoning
• LLM05 : Improper Output Handling
• LLM06 : Excessive Agency
• LLM07 : System Prompt Leakage
• LLM08 : Vector and Embedding Weaknesses (vulnérabilités RAG)
• LLM09 : Misinformation (hallucinations)
• LLM10 : Unbounded Consumption
• Stratégies de défense pour chaque vulnérabilité

Exemples de travaux pratiques (à titre indicatif)

• Exploiter et défendre un LLM vulnérable :
• Réaliser des attaques de Prompt Injection directe / indirecte
• Tenter une extraction de System Prompt
• Implémenter les contre-mesures

Red Teaming et tests de sécurité de l'IA Générative

• Méthodologie de Red Teaming appliquée aux systèmes GenAI
• Threat Modeling spécifique LLM / RAG / Agents
• Techniques d'attaque avancées :
• Jailbreaking multi-étapes
• Injection indirecte via contexte
• Escalade de privilèges d'agents
• Outils de Red Teaming automatisé :
• Garak
• Promptfoo
• DeepTeam...
• Scénarios de test :
• Exfiltration de données 
• Contournement de guardrails
• Empoisonnement RAG
• Rapport de Red Team et plan de remédiation

Exemples de travaux pratiques (à titre indicatif)

• Conduire une campagne de Red Teaming sur une application RAG de test :
• Threat Modeling
• Exécution de scénarios d'attaque (jailbreak, injection indirecte, empoisonnement de contexte)
• Rédaction du rapport de findings

Jour 2 - Après-midi

Guardrails, LLMOps et sécurisation du pipeline IA

• Architecture de sécurité d'un pipeline LLMOps : du développement à la production
• Guardrails input / output :
• Détection d'injections
• Filtrage PII
• Détection de toxicité
• Validation de format
• Frameworks de guardrails :
• Guardrails AI
• NVIDIA NeMo Guardrails
• LlamaGuard...
• Prompt versioning, évaluation et monitoring en production
• Observabilité IA :
• Monitoring de drift
• Détection d'hallucinations
• Métriques de qualité
• Contrôle d'accès aux modèles, audit logs et PII redaction
• Intégration de la sécurité dans le pipeline CI/CD ML (MLSecOps)
• Session tainting, circuit breakers et dual-layer permissions pour les agents

Conformité opérationnelle et amélioration continue

• Mise en oeuvre d'un AIMS conforme ISO/IEC 42001
• Documentation technique exigée par l'EU AI Act :
• Gestion des risques
• Gouvernance des données
• Journalisation
• Supervision humaine
• Post-market monitoring et signalement d'incidents
• Audit interne et évaluation de conformité
• Veille réglementaire continue et adaptation des processus
• Indicateurs de performance de la gouvernance IA (KPI)
• Feuille de route d'implémentation

Exemples de travaux pratiques (à titre indicatif)

• Elaborer un plan de conformité EU AI Act pour un système IA à haut risque en rédigeant la documentation technique :
• Fiche système
• Evaluation des risques
• Mesures de supervision humaine
• Définir les KPI de gouvernance et le calendrier d'audit