Praktische datapijplijnen met Apache Airflow

Leer hoe u complexe gegevensprocessen kunt automatiseren en beheren met Apache Airflow, de standaardtool voor workflow-orchestration, en hoe u uw data-infrastructuur kunt stroomlijnen met Apache Spark. Deze cursus biedt een uitgebreide, op tekst gebaseerde introductie tot het bouwen van betrouwbare gegevenspijpleidingen.U gaat van kernconcepten naar praktische toepassing, leert uw workflows volledig via code definiëren, plannen en controleren.Aan het einde hebt u de fundamentele vaardigheden om robuuste, herhaalbare en waarneembare gegevenspijpleidingen voor uw eigen projecten te bouwen. Wat je leert: - Begrijp de kernconcepten van Airflow, inclusief DAG's, operators, taken en de onderliggende architectuur. - Bouw uw eerste datapijplijn vanaf nul, definieer taakafhankelijkheden en plan regelmatige runs. - Gebruik de moderne TaskFlow API om schone, intuïtieve en Python-native datapijplijnen te schrijven. - Leer Hooks en Connections te gebruiken om veilig te communiceren met externe systemen zoals databases en cloudservices. - Oefen het effectief doorgeven van gegevens tussen taken met behulp van het XComs-mechanisme van Airflow. - Definieer data-afhankelijkheden en afstamming met behulp van moderne functies zoals Data-Aware Scheduling en Assets. - Verken verschillende Airflow-uitvoerders en begrijp de principes van het schalen van uw data-orchestration. De cursus begint met de basisprincipes van data-orchestration en de belangrijkste componenten van Airflow, waarna u praktische, schriftelijke oefeningen uitvoert om complete data-pipelines te bouwen en te beheren, waarbij u uw begrip bij elke stap versterkt. Deze cursus is bedoeld voor complete beginners.Er is geen eerdere ervaring met Apache Airflow of data-orchestration vereist, hoewel een basiskennis van Python van voordeel zal zijn. Begin vandaag nog met het bouwen van geautomatiseerde datapijplijnen.