Die automatisierte Steuerung und Überwachung von Datenpipelines ist ein wichtiger Bestandteil moderner Datenarchitekturen. Unternehmen müssen große Datenmengen aus unterschiedlichen Quellen zuverlässig verarbeiten, Arbeitsabläufe koordinieren und Daten für Analysen sowie nachgelagerte Anwendungen bereitstellen. Eine professionelle Data Pipeline Orchestrierung ermöglicht es, komplexe Prozesse effizient zu organisieren, Fehler frühzeitig zu erkennen und wiederkehrende Aufgaben zu automatisieren.

In dieser praxisorientierten Weiterbildung lernen Sie, wie Sie Datenpipelines mithilfe von Apache Airflow, Apache Oozie und cloudbasierten Workflow-Diensten planen, implementieren und überwachen. Sie beschäftigen sich mit der Entwicklung sogenannter Directed Acyclic Graphs (DAGs), der Definition von Aufgabenabhängigkeiten, der zeitgesteuerten Ausführung von Workflows sowie mit Strategien zur Fehlerbehandlung und Überwachung.

Ein weiterer Schwerpunkt liegt auf der Integration moderner Cloud-Technologien wie AWS Glue, Azure Data Factory und Databricks Jobs. Sie erfahren, wie sich Datenverarbeitungsprozesse mit Apache Spark und bestehenden Datenplattformen verbinden lassen und welche Möglichkeiten Continuous Integration und Continuous Delivery (CI/CD) für die automatisierte Bereitstellung und Weiterentwicklung von Datenpipelines bieten.

Anhand praxisnaher Übungen setzen Sie orchestrierte Workflows um, automatisieren Batch- und Streaming-Prozesse und erproben Verfahren zur Fehleranalyse und Qualitätssicherung. Nach Abschluss der Weiterbildung verfügen Sie über das notwendige Wissen, um Datenpipelines strukturiert zu orchestrieren, deren Betrieb zu überwachen und automatisierte Datenverarbeitungsprozesse in bestehende IT-Infrastrukturen zu integrieren.

Duration

2 days

Participation fee

1.495,00 € (1.779,05 € incl. 19 % VAT)

Es liegt 1 Garantietermin vor

24.3.27 - 25.3.27 24.3.27 - 25.3.27 1495 €

Online

Anfragen

Weitere Termine

Price:

1.495,00 € (1.779,05 € incl. 19 % VAT)

Durchführung ab 1 Teilnehmer möglich

Content

Grundlagen der Data Pipeline Orchestrierung

Einführung in die Workflow-Orchestrierung und ihre Einsatzmöglichkeiten
Architektur und Funktionsweise moderner Datenpipelines
Unterschiede zwischen Batch- und Streaming-Verarbeitung
Zeitgesteuerte und ereignisbasierte Workflow-Ausführung
Aufgabenabhängigkeiten, Trigger und Scheduling
Fehlerbehandlung und Wiederholungsstrategien

Workflow-Automatisierung mit Apache Airflow

Architektur und grundlegende Komponenten von Apache Airflow
Entwicklung und Konfiguration von Directed Acyclic Graphs (DAGs)
Verwendung von Operators und Tasks
Definition von Task Dependencies und Branching
Planung und Steuerung automatisierter Workflows
Monitoring, Logging und Alerting
Integration mit Apache Spark, Kubernetes und Cloud-Diensten

Workflow-Management mit Apache Oozie

Grundlagen und Architektur von Apache Oozie
Erstellung und Verwaltung von Workflows
Einsatz von Coordinators zur zeitgesteuerten Ausführung
Scheduler und Workflow-Management
Bewährte Vorgehensweisen und typische Fehlerquellen

Cloudbasierte Workflow-Orchestrierung

Einführung in Cloud Workflow Management
Datenpipeline-Automatisierung mit AWS Glue
Orchestrierung von Datenprozessen mit Azure Data Factory
Automatisierte Datenverarbeitung mit Databricks Jobs
Integration cloudbasierter Dienste in bestehende Datenarchitekturen
Monitoring und Logging von Cloud-Workflows

CI/CD für Datenpipelines

Grundlagen von Continuous Integration und Continuous Delivery
Automatisierte Bereitstellung und Aktualisierung von Datenpipelines
Integration von Tests in Entwicklungs- und Bereitstellungsprozesse
Versionsverwaltung und strukturierte Weiterentwicklung von Workflows
Qualitätssicherung und Fehleranalyse

Praxisübungen und Anwendungsbeispiele

Aufbau eines orchestrierten Datenworkflows
Entwicklung automatisierter Batch- und Streaming-Pipelines
Konfiguration von Aufgabenabhängigkeiten und Zeitplänen
Durchführung von Tests und Debugging
Analyse und Behebung typischer Workflow-Fehler

Objectives

Für eine erfolgreiche Teilnahme sollten Sie über grundlegende Kenntnisse in der Entwicklung und Verarbeitung von Datenpipelines verfügen. Erfahrungen mit ETL-Prozessen (Extract, Transform, Load), Apache Spark oder vergleichbaren Datenverarbeitungstechnologien sind von Vorteil.

Darüber hinaus werden grundlegende Python-Kenntnisse vorausgesetzt, da Apache Airflow Python zur Definition und Steuerung von Workflows verwendet. Ein sicherer Umgang mit der Kommandozeile unter Linux oder macOS wird ebenfalls empfohlen.

Erste Erfahrungen mit Docker sowie Cloud-Plattformen wie AWS, Microsoft Azure oder Google Cloud können das Verständnis der praktischen Übungen erleichtern, sind jedoch keine zwingende Voraussetzung.

Target Group

Die Weiterbildung richtet sich an IT-Fachkräfte, die Datenverarbeitungsprozesse automatisieren, komplexe Datenpipelines verwalten oder cloudbasierte Workflow-Lösungen in ihre bestehende IT-Infrastruktur integrieren möchten.

Insbesondere eignet sich der Kurs für: