Formation Architecture lakehouse - Concevoir, implémenter et migrer

Jour 1

Comprendre l'architecture lakehouse

• Importance de l'architecture Data pour les plateformes de données
• Architectures Data traditionnelles (Data Warehouse, Data Lake) et défis face aux nouveaux usages
• Composants clés d'une plateforme de données
• L'architecture lakehouse : le meilleur des deux mondes
• Caractéristiques des lakehouses
• Lakehouses et services Cloud
• Offres du marché :
• Databricks
• Delta Lake
• Apache Hudi
• Apache Iceberg

Exemples de travaux pratiques (à titre indicatif)

• Analyse de cas d'étude de différentes implémentations / migrations vers des lakehouses dans divers secteurs d'activité
• Analyse des retours d'expérience

Lakehouse : la couche stockage

• Concepts clés de stockage Big Data
• Stockage à base de lignes vs à base de colonnes
• Axes d'optimisation de la performance
• Composants du stockage d'un lakehouse
• Formats de fichiers
• Formats des tables
• Aspects clés de la conception

Exemples de travaux pratiques (à titre indicatif)

• Conception et benchmarking de solutions de stockage lakehouse à base de lignes et à base de colonnes

Jour 2

Lakehouse : les catalogues de données

• Rappel sur les métadonnées (techniques, métier) et la notion d'analytique self-service
• Articulation metastore / catalogue de données
• Caractéristiques d'un catalogue de données :
• Search / explore / discover
• Classification
• Gouvernance
• Linéage
• Catalogue de données unifié et défi des architectures deux-tiers
• Implémentation d'un catalogue de données avec :
• Hive Metastore
• Un Cloud provider

Exemples de travaux pratiques (à titre indicatif)

• Conception et mise en place d'un catalogue de données, comparaison d'alternatives d'implémentation et d'options architecturales

Lakehouse : les moteurs de calcul

• Importance du calcul sur les données dans une architecture lakehouse
• Intérêts d'avoir de multiples moteurs de calcul
• Traitement batch et temps réel unifié
• Performance de BI améliorée
• Outils Open Source de calcul
• Services Cloud
• Plateformes tierces parties
• Aspects clés de conception

Exemple de travaux pratiques (à titre indicatif)

• Réalisation de traitements batch et temps réel unifiés sur une plateforme Open Source et/ou Cloud

Gouvernance et sécurité de l'architecture lakehouse

• Rappels sur les aspects gouvernance et sécurité
• Gestion des métadonnées dans un lakehouse
• Réglementation et conformité
• Impact sur la qualité des données et des modèles de Machine Learning (ML) et d'Intelligence Artificielle (IA)
• Linéage des données et actifs IA
• Partage des données et actifs IA
• Audit et surveillance
• Protection des données
• Manipulation des données sensibles
• Les rôles dans la gouvernance d'un lakehouse :
• Data Owners
• Analysts
• Scientists
• Stewards
• Architects
• Admins
• Ingénieurs ML / BI

Exemples de travaux pratiques (à titre indicatif)

• Définition et mise en oeuvre de politiques de gouvernance et de sécurité d'un service lakehouse sur le Cloud

Jour 3

Conception et implémentation d'une plateforme lakehouse

• Rappel des meilleures pratiques
• Comprendre le besoin, collecte des exigences
• Etude de l'existant
• Comprendre la vision et la stratégie Data de l'organisation
• Définir les solutions possibles
• Réaliser des interviews et ateliers
• Choisir la meilleure architecture
• Spécifier le lakehouse :
• Ecosystème des données
• Scalabilité et performance
• Contrôle des coûts et optimisation
• Optimisation des opérations
• Gouvernance et sécurité
• Futures tendances et impact de l'IA

Exemples de travaux pratiques (à titre indicatif)

• Conception et implémentation d'une plateforme Data à partir des exigences collectées auprès du client demandeur (jeu de rôle)

Migration vers une plateforme lakehouse

• Introduction à la migration de données
• Importance de la préparation des données
• Evaluation de l'infrastructure existante et des capacités de données
• Planification de la migration
• Création d'un plan de migration détaillé
• Choix des outils et des technologies adaptés à la migration
• Définition des phases de la migration :
• Préparation
• Migration
• Validation
• Déploiement
• Techniques de migration
• Migration Lift and Shift
• Migration par restructuration des données (replatforming)
• Approche incrémentielle vs migration Big Bang
• Gestion des données durant la migration
• Techniques de synchronisation des données
• Validation et qualité des données pendant la migration
• Gestion des métadonnées
• Aspects sécuritaires et de conformité
• Assurer la sécurité des données pendant la migration
• Conformité réglementaire et implications légales
• Post-migration
• Tests post-migration pour garantir l'intégrité et la performance
• Optimisation post-migration et ajustements

Exemples de travaux pratiques (à titre indicatif)

• Atelier de planification d'une migration d'un entrepôt de données vers un lakehouse
• Mise en oeuvre de la migration dans un environnement Open Source ou Cloud