Pipeline di dati pratiche con Apache Airflow

Scopri come automatizzare e gestire processi di dati complessi con Apache Airflow, lo strumento standard del settore per l'orchestrazione dei flussi di lavoro. Questo corso fornisce un'introduzione completa e basata su testo alla creazione di pipeline di dati affidabili.Passerai dai concetti di base all'applicazione pratica, imparando a definire, pianificare e monitorare i tuoi flussi di lavoro interamente attraverso il codice.Alla fine, avrai le competenze fondamentali per creare pipeline di dati robuste, ripetibili e osservabili per i tuoi progetti. Cosa imparerai: - Comprendere i concetti fondamentali di Airflow, inclusi DAG, operatori, attività e la sua architettura sottostante. - Crea la tua prima pipeline di dati da zero, definendo le dipendenze delle attività e pianificando le esecuzioni regolari. - Utilizza la moderna API TaskFlow per scrivere pipeline di dati pulite, intuitive e native di Python. - Impara a utilizzare Hooks e Connections per interagire in modo sicuro con sistemi esterni come database e servizi cloud. - Praticare il passaggio di dati tra le attività in modo efficace utilizzando il meccanismo XComs di Airflow. - Definisci le dipendenze e il lignaggio dei dati utilizzando funzionalità moderne come Data-Aware Scheduling e Assets. - Esplora diversi esecutori di Airflow e comprendi i principi di ridimensionamento dell'orchestrazione dei dati. Il corso inizia con i principi fondamentali dell'orchestrazione dei dati e i componenti chiave di Airflow, quindi si procede attraverso esercizi pratici e scritti per costruire e gestire pipeline di dati complete, rafforzando la comprensione in ogni fase. Questo corso è progettato per principianti completi.Non è richiesta alcuna esperienza precedente con Apache Airflow o orchestrazione dei dati, anche se una conoscenza di base di Python sarà utile. Inizia a creare pipeline di dati automatizzate oggi stesso.