AWS Data Engineering : Création de pipelines d'analyse

Ce cours basé sur du texte vous guide à travers le processus de création de pipelines de données modernes à l'aide de l'écosystème d'analyse AWS. Vous passerez de la compréhension du stockage cloud de base à la conception de pipelines de données de bout en bout qui ingèrent, traitent, stockent et interrogent les données.En étudiant des explications architecturales claires et en analysant des exemples de code structuré, vous acquerrez les connaissances pratiques nécessaires pour orchestrer des flux de travail de données complexes dans le cloud. Ce que vous apprendrez: - Comprendre les concepts de données cloud de base, les configurations de sécurité et la gestion des identités à l'aide d'AWS S3 et d'IAM. - Créez des pipelines d'ingestion par lots et en temps réel évolutifs à l'aide d'AWS Lambda, Kinesis et Glue. - Traitez des ensembles de données à grande échelle avec PySpark sur AWS EMR et gérez des catalogues de métadonnées à l'aide d'AWS Glue. - Interrogez les données directement dans S3 à l'aide d'Athena et effectuez des opérations d'entreposage de données haute performance dans Redshift. - Appliquer des modèles de conception de lac de données modernes, y compris des formats de table transactionnels tels qu'Apache Iceberg sur AWS. - Configurer les déploiements de pipeline de données automatisés à l'aide des concepts fondamentaux d'infrastructure-as-code. Le programme commence par les définitions fondamentales du stockage et de la sécurité dans le cloud avant de passer à l'ingestion de données, au traitement distribué avec Spark, à la requête sans serveur et à l'entreposage de données.Vous étudierez des guides écrits étape par étape et des extraits de code SQL / Python conçus pour renforcer votre confiance en ingénierie. Ce cours est conçu pour les ingénieurs de données, les administrateurs de bases de données et les développeurs de logiciels qui souhaitent acquérir une première expérience des services d'analyse AWS. Commencez à lire dès aujourd'hui pour construire vos bases en ingénierie des données cloud.