Ingénierie des données : Pipelines Kafka, Spark et Airflow

Cherchez-vous à construire des pipelines de données robustes et efficaces ? Ce cours offre une approche pratique de l'ingénierie des données, en se concentrant sur les outils et techniques essentiels utilisés aujourd'hui. Vous acquerrez les compétences nécessaires pour construire, déployer et gérer des flux de traitement de données contemporains, en passant de l'ingestion de données brutes à un data lakehouse structuré. Ce que vous apprendrez : - Comprendre les fondamentaux de l'ingénierie des données et de la construction de pipelines. - Implémenter des modèles de traitement de données en streaming et batch avec Kafka et Spark. - Gérer l'orchestration et la planification des flux de travail à l'aide d'Airflow. - Configurer et interagir avec un data lakehouse pour le stockage de données évolutif. - Appliquer les concepts d'évolution de schéma et de contrats de données pour des flux de données fiables. - S'exercer à construire et déployer des pipelines à l'aide de Docker Compose. Ce cours vous guide à travers la mise en place d'un pipeline de données complet, de la mise en file d'attente des messages avec Kafka au traitement distribué avec Spark et au stockage des données dans un lakehouse, le tout orchestré par Airflow. Vous explorerez des concepts essentiels tels que le fenêtrage, le watermarking et la gestion des schémas. Ce cours est conçu pour les débutants ayant une compréhension fondamentale de Python, sans expérience préalable en ingénierie des données requise. Commencez à construire vos pipelines de données modernes dès aujourd'hui.