Formation Sûreté des IA - Anticiper et maîtriser les risques émergents

Jour 1 - Matin
Comprendre le paysage des risques des IA à usage général (GPAI)

Introduction à la sûreté des IA

• Définition et distinction avec la sécurité (cyber) et l'éthique
• Introduction au concept de "General-Purpose AI"

Le dilemme de la preuve

• Explication du défi central pour les décideurs : l'évolution rapide des capacités vs la lenteur de l'émergence des preuves scientifiques
• Comment naviguer entre le risque d'une régulation prématurée et celui d'une vulnérabilité sociétale

Taxonomie des risques émergents

• Risques de malveillance : utilisation délibérée pour nuire
• Contenu généré et criminalité : escroqueries, deepfakes, matériel pédopornographique généré par IA
• Influence et manipulation : changement d'opinion, campagnes de propagande, dépendance psychologique
• Cyberattaques : découverte de vulnérabilités, génération de code malveillant, automatisation des attaques
• Risques biologiques et chimiques : assistance à la création d'armes, accès à des connaissances tacites
• Risques de défaillance : dysfonctionnements inattendus et non-intentionnels
• Défis de fiabilité : hallucinations, échecs de raisonnement, vulnérabilité des agents IA
• Perte de contrôle : scénarios où les systèmes agissent en dehors de tout contrôle (déception, évasion des garde-fous, "scheming")
• Risques systémiques : impacts à grande échelle sur la société et l'économie
• Impacts sur le marché du travail : automatisation des tâches cognitives, effets sur l'emploi et les salaires, inégalités

Evaluer les méthodes de gestion des risques et leurs limites

Défis techniques et institutionnels

• Gaps scientifiques : manque de prévisibilité, boîte noire, écart entre l'évaluation pré-déploiement et la performance réelle ("evaluation gap")
• Asymétries d'information : manque de transparence des développeurs sur les données d'entraînement et les processus internes
• Défis institutionnels : rythme du développement vs rythme de la gouvernance, concurrence entre entreprises, fragmentation géopolitique

Jour 1 - Après-midi

Pratiques de gestion des risques actuelles

• Identification des risques : taxonomies, modélisation des menaces, prévisions ("forecasting")
• Analyse et évaluation : benchmarks, red-teaming, évaluations des capacités dangereuses
• Atténuation des risques : défense en profondeur, stratégies de déploiement (accès par API, déploiement progressif)
• Gouvernance des risques : Frontier AI Safety Frameworks, engagements "if-then", reporting d'incidents, transparence

Limites des approches actuelles

• Manque de standardisation
• Efficacité incertaine des garde-fous
• Difficulté d'évaluation des modèles open-weight
• Incapacité à anticiper les "inconnus inconnus"

Formuler et mettre en oeuvre une stratégie IA résiliente

Définir une stratégie de sûreté

• Comment passer de l'analyse à l'action, éléments clés :
• Veille et évaluation : mettre en place une cellule de veille sur les capacités des modèles (benchmarks) et les incidents rapportés
• Gouvernance interne : définir des seuils de tolérance au risque, allouer les responsabilités, créer un comité de sûreté
• Contrôles techniques : appliquer une défense en profondeur (curation des données, filtres de contenu, surveillance des chaînes de pensée)
• Gestion des dépendances : cartographier les risques liés à l'utilisation de modèles propriétaires (API) ou open-weight
• Plan de résilience : élaborer un plan de réponse aux incidents

Les défis à venir

• Gérer l'incertitude
• S'adapter aux nouvelles capacités (agents IA)
• Maintenir un équilibre entre innovation et sûreté