Grundlagen des Data Engineering: Erstellen von ETL-Pipelines mit Hadoop

In der heutigen datengesteuerten Welt sind Unternehmen auf saubere, zugängliche und strukturierte Daten angewiesen, um wichtige Entscheidungen zu treffen.Dieser textbasierte Kurs führt Sie durch die grundlegenden Konzepte des Data Engineering und zeigt Ihnen, wie Sie Daten im großen Maßstab verwalten und verschieben können. Sie werden vom Verständnis grundlegender Datenkonzepte zum Entwerfen und Ausführen Ihrer eigenen Pipelines für Extrahieren, Transformieren und Laden (ETL) übergehen.Durch das Beherrschen der Kern-Big-Data-Frameworks und moderner Speicherpraktiken erwerben Sie die Fähigkeiten, die erforderlich sind, um riesige Datensätze zu verarbeiten und sie für die nachgelagerte Analyse vorzubereiten. Was Sie lernen: Verstehen Sie die Kerndatentechnik-Terminologie, einschließlich Batch- und Echtzeitverarbeitung und Pipeline-Architektur; Extrahieren Sie Rohdaten aus verschiedenen Quellen und bereinigen Sie sie mit modernen Transformationstechniken; Laden Sie strukturierte Daten effizient in Data Warehouses, Data Lakes und verteilte Speichersysteme; Konfigurieren Sie Hadoop und MapReduce-Konzepte zur Verarbeitung großer Datensätze in verteilten Umgebungen; Anwendung moderner Speicherformate wie Parquet und Delta Lake zur Optimierung der Pipeline-Leistung; Entwerfen automatisierter Pipelineworkflows zur Gewährleistung einer konsistenten Datenbereitstellung und Qualitätskontrolle. Der Kurs beginnt mit grundlegenden Definitionen und Architekturprinzipien. Schritt für Schritt werden Sie in schriftlichen Tutorials über Datenextraktion, -transformation und -loading geschult. Anschließend werden Sie durch praktische schriftliche Übungen das verteilte Computing mit Hadoop und moderne Speicherstrategien erkunden. Dieser Kurs richtet sich an Anfänger, aufstrebende Dateningenieure und Analysten, die das Backend von Datensystemen verstehen möchten.Keine vorherige Datentechnikerfahrung oder komplexer Programmierhintergrund erforderlich.Starten Sie Ihre Reise in die Welt von Big Data und erstellen Sie noch heute Ihre erste Datenpipeline.