Formation DataOps - Concevoir et automatiser des pipelines résilients et scalables

Jour 1

Fondamentaux

• Qu'est-ce qu'une donnée ?
• Evolution des analytiques : des Data Warehouses aux Lakehouses et Data Mesh
• Stratégie des données, valeur des données, sémantique des données, BPM (Business Process Management)
• La stratégie des données, et différence avec les stratégies IT et de gouvernance de données
• Définir la vision
• Déterminer et aligner les objectifs des pipelines avec la vision
• Cartographie de la chaîne de valeur (Value Stream Mapping)
• Apports des analytiques et du Cloud
• Qu'est-ce qu'une organisation Data Driven ?
• Cycle de vie de la Data, gouvernance et qualité des données
• Lean, Agilité et DevOps appliqués aux données
• Apports du DataOps
• DevOps vs DataOps vs MLOps
• Analytiques et opérations : briser le mur de la confusion
• Constituer et former les Data Teams
• Introduction à Microsoft Azure
• Etudes de cas DataOps

Exemple de travaux pratiques (à titre indicatif)

• Contrôle de version des données avec DVC et Git

Jour 2

Scoping et définition des éléments des pipelines DataOps

• Processus de développement Agile DataOps : idéation, "inception", R&D, transition / production
• Conception de pipelines
• Les trois variantes d'implémentation de pipelines
• MLflow: la plateforme indispensable pour le tracking des expériences et la gestion des modèles
• Exemples d'implémentations avec MLflow Projects et MLflow Recipes
• Importance du versioning modèle-dataset pour la traçabilité

Exemples de travaux pratiques (à titre indicatif)

• Création d'un pipeline MLflow intégrant Git et DVC
• Déploiement du meilleur modèle suite à Grid Search / Randomized Search / Optimisation bayésienne
• Détection du data drift et du feature drift avec MLflow et Evidently

Jour 3

Les technologies DataOps

• Ecosystème des technologies DataOps
• Build vs Buy
• Choisir les bons outils : cartes de Wardley, radar technologique
• Intégration, préparation, traitement et management des données
• Reproductibilité, déploiement, orchestration, et surveillance
• Infrastructure de calcul et moteur d'exécution de requêtes
• Stockage, plateformes et outils d'analytics
• Faire évoluer la pile technologique
• Concevoir des pipelines robustes avec Airflow
• Planifier des workflows complexes avec Airflow

Exemples de travaux pratiques (à titre indicatif)

• Amélioration du pipeline précédent avec Airflow
• Planification de l'exécution du pipeline en fonction d'évènements

Jour 4

Produire la valeur

• Planifier les itérations
• Extraire la valeur des données
• Surveiller la qualité avec la MSP (Maîtrise Statistique des Procédés)
• Mesurer les bénéfices
• Animer les rétrospectives et assurer l'amélioration continue

Exemples de travaux pratiques (à titre indicatif)

• Optimiser l'empreinte des modèles (CPU, RAM, stockage) avec MLflow et Optuna
• Serving de plusieurs modèles via un seul point de terminaison avec MLflow et PyFunc

Jour 5

Le DataOps Factory

• Importance de la gouvernance des données
• Culture DataOps et conduite du changement
• Centraliser les plateformes : exemple de Delta Lake
• Tout automatiser
• L'organisation Self-Service

Exemples de travaux pratiques (à titre indicatif)

• IA responsable : suivre l'interprétabilité et l'explicabilité des modèles avec MLflow, SHAP, LIME et interpretML
• Mise en place d'une plateforme de données avec Spark et Delta Lake