Fondamentaux de l'ingénierie des données : Construction de pipelines ETL avec Hadoop

Dans le monde actuel axé sur les données, les organisations s'appuient sur des données propres, accessibles et structurées pour prendre des décisions critiques. Ce cours textuel vous guide à travers les concepts fondamentaux de l'ingénierie des données, vous montrant comment gérer et déplacer des données à grande échelle. Vous passerez de la compréhension des concepts de base des données à la conception et à l'exécution de vos propres pipelines d'extraction, de transformation et de chargement (ETL). En maîtrisant les principaux frameworks de big data et les pratiques de stockage modernes, vous acquerrez les compétences nécessaires pour traiter des ensembles de données massifs et les préparer pour l'analyse en aval. Ce que vous apprendrez : * Comprendre la terminologie de base de l'ingénierie des données, y compris le traitement par lots par rapport au traitement en temps réel et l'architecture des pipelines ; * Extraire des données brutes de diverses sources et les nettoyer à l'aide de techniques de transformation modernes ; * Charger efficacement des données structurées dans des entrepôts de données, des lacs de données et des systèmes de stockage distribués ; * Configurer Hadoop et les concepts de MapReduce pour traiter des ensembles de données à grande échelle dans des environnements distribués ; * Appliquer des formats de stockage modernes comme Parquet et Delta Lake pour optimiser les performances des pipelines ; * Concevoir des flux de travail de pipeline automatisés pour assurer une livraison de données cohérente et un contrôle qualité. Le cours commence par des définitions essentielles et des principes d'architecture avant de passer à des tutoriels écrits étape par étape sur l'extraction, la transformation et le chargement des données. Vous explorerez ensuite le calcul distribué avec Hadoop et les stratégies de stockage modernes à travers des exercices écrits pratiques. Ce cours est conçu pour les débutants, les aspirants ingénieurs de données et les analystes qui cherchent à comprendre le backend des systèmes de données. Aucune expérience préalable en ingénierie des données ou connaissance approfondie en programmation n'est requise. Commencez votre voyage dans le monde du big data et construisez votre premier pipeline de données dès aujourd'hui.