Vergleiche Scheduler- und DAG-Ansätze und plane wiederherstellbare Workflows und Migrationen.
Untersuche die Planung von Datenworkflows anhand eines Luigi-Pipeline-Vortrags, eines Vergleichs von Airflow und Luigi, eines visuellen DAG-Composers und von Migrationserfahrungen mit Enterprise-Schedulern. Verbinde Aufgabenabhängigkeiten mit Wiederholungen, Idempotenz, Beobachtbarkeit und Änderungsmanagement, statt den Scheduler als Ersatz für zuverlässigen Aufgabencode zu behandeln. Die Übungen verlangen konkrete Wiederherstellungs- und Zuständigkeitspläne; die Vorträge sind Beispiele und kein Beleg für das beste Tool für jedes Team.
Stelle einen mehrstufigen Datenworkflow als Abhängigkeitsgraph mit expliziten Ein- und Ausgaben sowie Abschlusskriterien dar. Vergleiche Scheduler anhand betrieblicher Anforderungen wie Wiederholungen, Backfills, Beobachtbarkeit, Deployment und Teamkompetenz. Plane eine schrittweise Orchestrierungsmigration mit Validierung, Rollback, Zuständigkeit und Serviceerwartungen.
Grundkenntnisse zu Skripten, Datendateien und einfachen Workflowabhängigkeiten sind hilfreich. Erfahrung mit einem bestimmten Scheduler ist nicht erforderlich. Aufgaben lassen sich als Diagramm und Plan bearbeiten; hinterlege keine Zugangsdaten oder sensiblen Datensätze in Beispielen und prüfe aktuelle Dokumentation vor Produktionsänderungen.
Lernende mit Grundkenntnissen, die praktische, selbstständige Fähigkeiten aufbauen möchten
Menschen, die am besten mit Beispielen, Anleitung und praktischen Übungen lernen
Fachleute, Kreative und unabhängige Entwickler, die wiederholbare Abläufe suchen
Lektion 1 ist kostenlos
4 lektionen · Fortgeschrittene Grundlagen · Vollständiger Kurs.
Dieser Kurs verwendet CC BY-lizenziertes Material mit Namensnennung des Inhaltsanbieters oder Uploaders. Die Wiedergabe der Lektionen ist erst nach Anmeldung und bestandener Veröffentlichungs- und Lizenzprüfung verfügbar.