Fondamentaux ETL et ELT : Construire des Pipelines de Données

Le mouvement des données est l'épine dorsale de l'analytique et de l'apprentissage automatique, mais la mise en place de pipelines fiables peut être difficile sans les bonnes bases. Commencez à maîtriser les techniques essentielles pour collecter et préparer les données à l'utilisation. À la fin de ce cours, vous comprendrez les mécanismes de l'ETL et de l'ELT, ce qui vous permettra de concevoir et de mettre en œuvre des flux de travail robustes qui garantissent la qualité et la disponibilité des données. Ce que vous apprendrez : * Comprendre les concepts fondamentaux et les différences historiques entre l'ETL (Transformer avant de charger) et l'ELT moderne (Charger avant de transformer). * Appliquer des techniques fondamentales d'extraction de données à partir de diverses sources de données courantes, y compris les fichiers et les API. * S'entraîner à définir la logique de transformation pour nettoyer, normaliser et agréger les données selon les règles métier. * Configurer des mécanismes de base pour charger les données transformées dans des destinations cibles comme les entrepôts de données ou les bases de données. * Mettre en œuvre des vérifications fondamentales de la qualité des données et des étapes de validation dans vos flux de pipeline. * Apprendre les concepts fondamentaux de l'orchestration et de la planification de pipelines pour automatiser de manière fiable les flux de données. Le cours commence par la définition de la terminologie clé et des concepts d'architecture de données avant de passer aux étapes pratiques de construction séquentielle des étapes d'extraction, de transformation et de chargement. Nous nous concentrons sur les explications écrites et les exemples de code pratiques pour illustrer la logique fondamentale des pipelines. Ce cours est spécifiquement conçu pour les débutants absolus en ingénierie de données, en analyse de données ou en développement de logiciels intéressés par l'infrastructure de données. Aucune expérience préalable des outils ETL ou de l'entreposage de données n'est requise. Commencez à développer votre expertise en infrastructure de données dès aujourd'hui.