Comparez les approches de planification et de DAG, puis concevez des workflows récupérables et des migrations.
Explorez la planification de workflows de données au moyen d’un exposé sur Luigi, d’une comparaison entre Airflow et Luigi, d’un compositeur visuel de DAG et de retours de migration depuis des planificateurs d’entreprise. Reliez les dépendances aux reprises, à l’idempotence, à l’observabilité et à la gestion du changement : un planificateur ne remplace pas du code fiable. Les activités exigent des plans de reprise et de responsabilité explicites ; ces présentations sont des exemples, pas la preuve qu’un outil convient à toutes les équipes.
Représenter un workflow de données à plusieurs étapes comme un graphe de dépendances avec entrées, sorties et critères d’achèvement explicites. Comparer les planificateurs selon les besoins opérationnels : reprises, backfills, observabilité, déploiement et compétences de l’équipe. Planifier une migration progressive avec validation, retour arrière, responsabilités et attentes de service.
Une connaissance pratique des scripts, fichiers de données et dépendances simples est recommandée. Aucune expérience d’un planificateur particulier n’est exigée. Les exercices peuvent être réalisés sous forme de schémas et de plans ; n’insérez pas de secrets ni de données sensibles dans les exemples et consultez la documentation actuelle avant toute modification en production.
Aux apprenants ayant des bases et souhaitant développer des compétences pratiques en autonomie
Aux personnes qui apprennent mieux avec des exemples, des leçons guidées et de la pratique
Aux professionnels, créateurs et développeurs indépendants recherchant une méthode reproductible
La leçon 1 est gratuite
4 leçons · Intermédiaire · Cours complet.
Ce cours utilise du contenu sous licence CC BY attribué à son fournisseur ou à la personne qui l’a mis en ligne. La lecture des leçons est disponible uniquement après authentification et validation des contrôles de publication et de licence.