Ingénierie des données fondamentale : Construction de pipelines ELT automatisés

Les données sont la pierre angulaire de l'entreprise moderne, mais les données brutes sont inutiles sans une infrastructure appropriée pour les déplacer et les traiter efficacement. Ce cours fournit une base solide et pratique en ingénierie des données, vous permettant de concevoir, construire et maintenir des pipelines de données automatisés robustes nécessaires à l'analyse et au reporting modernes. Ce que vous apprendrez : * Comprendre les concepts fondamentaux des entrepôts de données (DWH) et des lacs de données, y compris les modèles architecturaux courants. * Configurer et conteneuriser l'infrastructure de données locale à l'aide de Docker pour des environnements de développement reproductibles. * Appliquer Python et PySpark pour le traitement par lots efficace et les transformations de données à grande échelle. * Concevoir et orchestrer des flux de travail complexes à l'aide d'Apache Airflow pour la planification et la surveillance des tâches ETL/ELT. * Implémenter des contrôles de qualité des données et des modèles de base d'observabilité des données dans vos pipelines. * Pratiquer la construction de flux de travail ELT modulaires et testables à l'aide de frameworks de transformation de données modernes tels que DBT. Le cours commence par les concepts fondamentaux des bases de données et les principes de modélisation des données avant de passer à la construction pratique de pipelines à l'aide d'environnements conteneurisés. Vous progresserez à travers le traitement par lots, les bases de l'ingestion de flux et l'orchestration des flux de travail. Ce cours est conçu pour les débutants absolus intéressés par l'ingénierie des données, ainsi que pour les analystes de données ou les développeurs cherchant à se reconvertir dans la construction d'infrastructures de données. Aucune expérience préalable en ingénierie des données n'est requise. Commencez dès aujourd'hui à construire l'infrastructure qui alimente les décisions basées sur les données.