Formation Intelligence Artificielle (IA) - Fine-Tuning de modèles

Positionnement du Fine-Tuning

• Quand fine-tuner : arbitrage entre prompt engineering, RAG et Fine-Tuning - critères de décision (coût, latence, qualité, confidentialité)
• Taxonomie du Fine-Tuning : full fine tuning, transfer learning, parameter-efficient fine tuning (PEFT)
• Panorama des modèles fine-tunables : modèles ouverts (Llama, Mistral, Gemma, Phi) vs API managées (OpenAI, Anthropic, Vertex AI)
• Coûts et ressources : estimation GPU, durée d'entraînement, comparatif Cloud vs on-premise
• Cadre juridique : licences des modèles de base, propriété du modèle affiné, implications RGPD sur les données d'entraînement

Exemple de travaux pratiques (à titre indicatif)

• Analyse de 3 cas d'usage métier : décision argumentée Fine-Tuning vs RAG vs prompt engineering pour chaque cas

Préparation des données d'entraînement

• Formats de datasets : instruction / réponse, conversation multi-tours, préférence (chosen / rejected)
• Collecte et curation : extraction depuis des bases métier, annotation, nettoyage, dédoublonnage
• Augmentation de données : génération synthétique via LLM, paraphrase, diversification
• Qualité du dataset : détection de biais, équilibrage des classes, validation croisée
• Dimensionnement : combien d'exemples faut-il ? Loi des rendements décroissants
• Outillage : Argilla, Label Studio, scripts de conversion vers les formats Hugging Face

Exemple de travaux pratiques (à titre indicatif)

• Construction d'un dataset d'entraînement à partir de données brutes métier : nettoyage, mise en forme instruction / réponse, split train / eval, publication sur Hugging Face Hub

Techniques de fine tuning

• Full fine tuning vs PEFT : impact mémoire, vitesse, qualité - quand choisir quoi
• LoRA (Low-Rank Adaptation) : principe mathématique, choix du rang, ciblage des couches
• QLoRA : quantification 4-bit + LoRA, configuration bitsandbytes
• Hyperparamètres clés : learning rate, epochs, batch size, warmup, weight decay - stratégies de réglage
• Entraînement distribué : DeepSpeed, FSDP, multi-GPU
• Plateformes d'entraînement : Hugging Face TRL / SFTTrainer, Axolotl, Unsloth, services cloud (SageMaker, Vertex AI)
• Suivi d'entraînement : Weights & Biases, TensorBoard, courbes de perte et détection d'overfitting

Exemple de travaux pratiques (à titre indicatif)

• Fine tuning LoRA d'un modèle 7B sur GPU : configuration de l'entraînement, suivi des métriques en temps réel, sauvegarde des adaptateurs

Alignement et techniques avancées

• RLHF (Reinforcement Learning from Human Feedback) : principe, modèle de récompense, PPO - pourquoi c'est coûteux
• DPO (Direct Preference Optimization) : alternative simplifiée au RLHF, mise en oeuvre avec TRL
• ORPO, SimPO : variantes récentes et cas d'usage
• Préparation d'un dataset de préférences : paires chosen / rejected, annotation, contrôle qualité
• Merge de modèles : combinaison d'adaptateurs LoRA, techniques de fusion (TIES, DARE, linear merge)
• Distillation : transférer les capacités d'un grand modèle vers un modèle plus petit

Exemple de travaux pratiques (à titre indicatif)

• Alignement DPO d'un modèle pré-fine-tuné : préparation du dataset de préférences, entraînement DPO, comparaison avant / après sur un jeu de tests

Evaluation et déploiement

• Métriques d'évaluation : perplexité, BLEU / ROUGE (limites), évaluation LLM-as-judge, benchmarks métier
• Construction d'un benchmark maison : jeu de tests représentatif, scoring automatique, tests de régression
• Comparaison systématique : modèle de base vs fine-tuné vs RAG sur les mêmes cas de test
• Formats d'export : GGUF, ONNX, SafeTensors - choix selon la cible de déploiement
• Quantification post-entraînement : GPTQ, AWQ, impact sur la qualité
• Déploiement du modèle affiné : vLLM, TGI, Ollama, Triton - intégration dans une chaîne applicative existante
• Versioning et cycle de vie : registre de modèles, rollback, réentraînement planifié

Exemple de travaux pratiques (à titre indicatif)

• Pipeline complet : évaluation comparative du modèle fine-tuné, export GGUF, déploiement via vLLM, test d'inférence en conditions réelles