Formation Intelligence Artificielle (IA) - Apache Airflow

Comprendre l'architecture d'Airflow et le modèle d'orchestration par DAG

• Le projet Airflow : historique, fonctionnalités, cas d'usages
• Présentation de l'architecture : Webserver, Scheduler, Executor, Metastore, Workers
• Le modèle DAG : tâches, dépendances, opérateurs, sensors

Acquérir les bonnes pratiques de conception de pipelines de données

• Ecriture de DAG en Python : structuration et bonnes pratiques

Exemples de travaux pratiques (à titre indicatif)

• Création d'un DAG ETL complet avec branchements et gestion d'erreurs
• Utilisation des XComs, Variables et Connections - templating Jinja

Savoir configurer et étendre Airflow avec des opérateurs, hooks et connecteurs

• Les opérateurs natifs : BashOperator, PythonOperator, SQLOperator, DockerOperator...
• Développement de custom operators et hooks : intégration avec des sources externes

Exemple de travaux pratiques (à titre indicatif)

• Connexion à des services tiers (S3, GCS, bases de données, API REST)

Appréhender les différentes stratégies d'exécution et de scalabilité

• Les Executors : Sequential, Local, Celery, Kubernetes
• Configuration d'un environnement multi-workers avec CeleryExecutor

Exemple de travaux pratiques (à titre indicatif)

• Déploiement d'Airflow en mode distribué avec Docker Compose

Mettre en oeuvre le scheduling avancé et les DAG dynamiques

• Scheduling : cron, catchup, backfill, SLA, time zones
• DAGs dynamiques et TaskFlow API. Deferrable Operators
• Data-Aware Scheduling : le concept de Datasets et déclenchement par données

Exemple de travaux pratiques (à titre indicatif)

• Mise en oeuvre d'un pipeline dynamique avec dépendances inter-DAG

Travailler en sécurité avec Airflow en production

• Authentification et contrôle d'accès : RBAC, LDAP / OAuth
• Chiffrement des connexions et des variables sensibles (Fernet, Secrets Backends)
• Isolation des ressources : Pools, Priorities

Exemple de travaux pratiques (à titre indicatif)

• Sécurisation d'un environnement Airflow multi-équipes

Exploitation et observabilité

• Airflow CLI et API REST
• Gestion des logs et intégration avec des systèmes centralisés (ELK, Loki)
• Monitoring avec métriques StatsD / Prometheus / Grafana - alerting
• Détection et gestion des pannes : stratégies de retry et dead letter