Data-engineering: ETL, reverse ETL en analysepijplijnen

Vergelijk analysepijplijnen en volg datakwaliteit, herkomst en leveringsrisico's door de levenscyclus.

Op zoek naar stapsgewijze tutorials voor afzonderlijke AI-tools?

Cursusoverzicht

Bekijk vier perspectieven op pijplijnwerk: een modern ontwerpoverzicht, een Databricks-ETL-implementatie, reverse ETL met Airflow en een analysepijplijn met Airflow en PySpark. Onderscheid keuzes voor opname en transformatie van operationele levering naar andere systemen en documenteer contracten, herkomst, herstel en privacygrenzen. Architecturen en demonstraties zijn illustratief; geen stack of gegevensverplaatsing is vanzelfsprekend passend zonder toestemming voor brongebruik en beheersing van de bestemming.

Vergelijk ETL en alternatieve pijplijnindelingen op vertraging, kwaliteitscontroles, herkomst en operationeel eigenaarschap. Specificeer validatie-, idempotentie- en herstelcontroles voor een analytische gegevensworkflow. Beoordeel bestemmingen voor reverse ETL op toestemming, dataminimalisatie, actualiteit en veilige downstreamupdates.

Basiskennis van tabellen, bestandsformaten en gegevenstransformaties is aanbevolen; SQL- of Pythonervaring is nuttig maar niet vereist voor schriftelijke opdrachten. Gebruik fictieve of passend toegestane gegevens. Controleer bronvoorwaarden, bestemmingsrechten, bewaartermijnen en toegangsbeheer vóór het verplaatsen van echte gegevens, vooral bij levering aan operationele tools.

Cursisten met basiskennis die praktische, zelfstandige vaardigheden willen opbouwen

Mensen die het beste leren met voorbeelden, begeleide lessen en praktische oefeningen

Professionals, makers en zelfstandige bouwers die een herhaalbare werkwijze zoeken

Les 1 is gratis

4 lessen · Gemiddeld · Volledige cursus.

Cursusinhoud met open licentie · CC BY-gelicentieerd · licentie geverifieerd

Deze cursus gebruikt CC BY-gelicentieerd materiaal met naamsvermelding van de inhoudsprovider of uploader. Lesvideo’s zijn alleen na aanmelding beschikbaar wanneer de publicatie- en licentiecontroles zijn geslaagd.