Ingegneria dei dati: Kafka, Spark e Airflow Pipelines

Questo corso fornisce un approccio pratico all'ingegneria dei dati, concentrandosi sugli strumenti e le tecniche essenziali utilizzati oggi. Acquisirai le competenze per costruire, distribuire e gestire i flussi di lavoro di elaborazione dei dati contemporanei, passando dall'ingestione di dati grezzi a un data lakehouse strutturato. Cosa imparerai: - Comprendere i fondamenti dell'ingegneria dei dati e della costruzione di pipeline. - Implementa modelli di elaborazione dati in streaming e batch con Kafka e Spark. - Gestisci l'orchestrazione e la pianificazione del flusso di lavoro utilizzando Airflow. - Configurare e interagire con un data lakehouse per l'archiviazione di dati scalabili. - Applicare concetti di evoluzione dello schema e contratti di dati per flussi di dati affidabili. - Pratica la costruzione e la distribuzione di pipeline utilizzando Docker Compose. Questo corso ti guiderà attraverso la configurazione di una pipeline di dati completa, dalla messa in coda dei messaggi con Kafka all'elaborazione distribuita con Spark e all'archiviazione dei dati in un lago, tutti orchestrati da Airflow. Questo corso è progettato per i principianti con una comprensione fondamentale di Python, senza esperienza precedente nell'ingegneria dei dati. Inizia a creare le tue pipeline di dati moderne oggi stesso.