Formation Au-delà des LLM : les IA nouvelle génération

Jour 1 - Matin

Innovations des Intelligences Artificielles (IA) actuelles

• Performances de niveau expert dans les jeux stratégiques (Echecs, Go)
• Avancées scientifiques majeures, comme la prédiction de la structure des protéines (AlphaFold)
• Systèmes de traduction automatique couvrant plus de 200 langues (modèle NLLB)
• Applications concrètes dans la conduite assistée (ADAS), le diagnostic médical (fastMRI) et la sécurité en ligne

Principaux défis des IA actuelles

• Limites fondamentales :
• Incapacité de raisonnement et de planification
• Besoin massif de données
• Fragilité et spécialisation
• Absence de "bon sens"
• Apprentissage de modèles prédictifs du monde
• Représentation de l'incertitude
• Efficacité de l'apprentissage
• Planification hiérarchique
• Exemples de défaillances majeures des IA :
• Conduite autonome
• Reconnaissance faciale
• Réponses dangereuses

Nouvelles architectures d'IA et perspectives

• L'Intelligence autonome :
• Une architecture modulaire comprenant des modules de perception, de coût (intrinsèque et critique), de mémoire à court terme, d'un acteur et d'un configurateur
• Modèles basés sur l'énergie (EBM) :
• Au lieu de probabilités souvent intraitables en haute dimension, utiliser des fonctions d'énergie pour capturer les dépendances entre variables et gérer l'incertitude
• Architecture Prédictive à Encastrement Joint (JEPA) :
• Compare les données au niveau de représentations internes plutôt qu'au niveau des pixels
• Utilise des variables latentes pour gérer la nature multimodale de la réalité
• H-JEPA (Hiérarchique) :
• Une structure de JEPA empilés permettant des prédictions à différentes échelles de temps et d'abstraction (ex : du détail du mouvement à l'objectif à long terme)
• Apprentissage Auto-Supervisé (SSL) :
• Positionné comme la base de l'intelligence future, permettant d'apprendre des représentations riches sans intervention humaine constante