Grundlagen des Data Engineering: Batch- und Streaming-Pipelines

Das heute generierte Datenvolumen erfordert robuste Systeme, um es effizient zu verarbeiten. Modernes Data Engineering schlägt die Brücke zwischen Rohdaten und verwertbaren Erkenntnissen und ist somit eine entscheidende Fähigkeit für jeden Datenexperten. In diesem Kurs lernen Sie, wie Sie komplette Datenpipelines von Grund auf neu erstellen. Sie werden grundlegende Konzepte, moderne Orchestrierungstechniken und die fundamentalen Unterschiede zwischen Batch- und Streaming-Datenverarbeitung erkunden. Anhand schriftlicher Erklärungen und praktischer Code-Snippets entwickeln Sie die Fähigkeiten, große Datensätze zu verschieben, zu transformieren und deren Qualität sicherzustellen. Was Sie lernen werden: - Verstehen der grundlegenden Data Engineering-Terminologie, Architekturen und des modernen Datenlebenszyklus. - Erstellen robuster Batch-Verarbeitungspipelines mithilfe von Python und SQL. - Erkunden von Echtzeit-Streaming-Konzepten und ereignisgesteuerten Architekturen. - Üben moderner Datentransformationstechniken und Grundlagen der Datenmodellierung. - Anwenden moderner Orchestrierungsmuster zur Planung, Verwaltung und Überwachung Ihrer Daten-Workflows. - Implementieren grundlegender Tests und Datenqualitätsprüfungen, um zuverlässige Pipelines zu gewährleisten. Der Kurs beginnt mit wesentlicher Terminologie und Architekturkonzepten, bevor er zu praktischen, textbasierten Übungen übergeht. Sie werden schrittweise strukturierte Lektionen durchlesen, um zu verstehen, wie die verschiedenen Komponenten einer Dateninfrastruktur zusammenpassen. Konzipiert für Anfänger, angehende Data Engineers und Python-Entwickler, die in den Bereich Data Engineering wechseln möchten, ist keine vorherige Pipeline-Erfahrung erforderlich. Beginnen Sie noch heute mit dem Lesen, um das Fundament für Ihre moderne Data Engineering-Reise zu legen.