Formation Intelligence Artificielle (IA) et outils du Deep Learning (Tensorflow, Caffe, Pytorch...) - Comprendre leurs apports

Fondements et positionnement de l'Intelligence Artificielle (IA)

• Définitions et positionnement : IA, apprentissage profond (Deep Learning) et apprentissage automatique
• Les apports du deep learning, état de l'art
• Outils disponibles. Exemples de projets concrets
• Exemples, domaines d'application. Présentation de DeepMind
• Outils Deep Learning de haut niveau : Keras / TensorFlow, Caffe / PyTorch

Exemple de travaux pratiques (à titre indicatif)

• Mise en oeuvre sur Cloud AutoML : traitement du langage naturel, traduction, reconnaissance d'images...

Convergence des réseaux de neurones

• Comprendre la rétropropagation de l'erreur et la convergence
• Maîtriser la descente de gradient
• Les fonctions d'erreur : MSE (erreur quadratique moyenne), entropie croisée binaire, et les optimiseurs SGD (descente de gradient stochastique), RMSprop, Adam
• Définitions : couche, epochs, batch size, itérations, loss, learning rate, momentum
• Optimiser un entraînement par découpage d'entraînements progressifs
• Comprendre le principe des hyperparamètres : choix des hyperparamètres

Exemple de travaux pratiques (à titre indicatif)

• Construire un réseau capable de reconnaître une courbe

Connaître les briques de base du Deep Learning : réseaux de neurones simples, convolutifs et récursifs

• Les réseaux de neurones : principe, différents types de réseaux de neurones (artificiels, convolutifs, récurrents...)
• Les différentes formes de réseaux : MultiLayer Perceptron FNN / MLP, CNN
• Couches d'entrée, de sortie, de calcul
• Fonctionnement d'une couche de convolution - définitions : kernel, padding, stride.
• Fonctionnement d'une couche de Pooling
• API standard, modèles d'apprentissage
• Apprendre à lire une courbe d'apprentissage

Exemples de travaux pratiques (à titre indicatif)

• Comparaison de courbes d'apprentissage avec TensorFlow sur plusieurs paramètres
• Construction d'un réseau de neurones de reconnaissance d'images

Modèles avancés : auto-encodeurs, réseaux antagonistes génératifs (GAN), apprentissage par renforcement

• Représentations des données
• Bruits
• Couches d'encodage : codage entier, One-hot, embedding layer
• Notion d'autoencodeur. Autoencodeurs empilés, convolutifs, récurrents
• Comprendre les réseaux antagonistes génératifs (GANs) et leurs limites de convergences
• Apprentissage par transfert
• Evolutions vers les GRU (Gated Recurrent Units) et LSTM (Long Short Term Memory)
• Traitement du langage naturel (NLP) : encodage des caractères et des mots, traduction

Exemple de travaux pratiques (à titre indicatif)

• Entraînement d'un autoencodeur variationnel sur un jeu d'images

Architecture Transformer et mécanisme d'attention

• Limites des RNN et LSTM pour les séquences longues : vanishing gradient, traitement séquentiel
• Mécanisme d'attention : principe, scaled dot-product attention, multi-head attention
• Architecture Transformer : encodeur-décodeur, positional encoding, normalisation, connexions résiduelles
• Variantes : encoder-only (BERT), decoder-only (GPT), encoder-decoder (T5) - cas d'usage respectifs
• Tokenization : BPE, WordPiece, SentencePiece - impact sur les performances
• Pré-entraînement et transfer learning : masked language modeling, causal language modeling
• De Transformer aux LLM : scaling laws, émergence de capacités, limites

Exemples de travaux pratiques (à titre indicatif)

• Implémentation d'un mécanisme d'attention complet avec PyTorch, puis utilisation d'un modèle pré-entraîné Hugging Face pour de la classification de texte
• Comparaison avec le CNN précédent sur le même jeu de données

Exploitation, création de modèles

• Préparation des données, régularisation, normalisation, extraction des caractéristiques
• Optimisation de la politique d'apprentissage
• Exploitation des modèles, mise en production : TensorFlow Hub, Serving
• Visualiser les reconstructions

Exemple de travaux pratiques (à titre indicatif)

• Mise en place d'un serveur de modèles et d'une application tf-lite pour mobile

Comprendre les points forts et les limites de ces outils

• Mise en évidence des problèmes de convergence et du vanishing gradient
• Les erreurs d'architecture : comment distribuer un réseau de neurones ?
• Les limites du Deep Learning : imiter / créer - cas concrets d'utilisation
• Perspectives : Transformers, LLM, modèles multi-modaux, IA embarquée