AWS Data Engineering: tworzenie potoków analitycznych

Zarządzanie przepływami danych na dużą skalę wymaga bezpiecznej, skalowalnej i wydajnej infrastruktury.Ten kurs tekstowy prowadzi przez proces budowania nowoczesnych potoków danych przy użyciu ekosystemu analitycznego AWS. Przejdziesz od zrozumienia podstawowej pamięci masowej w chmurze do projektowania kompleksowych potoków danych, które pobierają, przetwarzają, przechowują i zapytają dane.Badanie jasnych wyjaśnień architektonicznych i analiza przykładów kodu strukturalnego pozwoli zdobyć praktyczną wiedzę potrzebną do orkiestracji złożonych przepływów pracy danych w chmurze. Czego się nauczysz: - Zapoznaj się z podstawowymi koncepcjami danych w chmurze, konfiguracjami zabezpieczeń i zarządzaniem tożsamością za pomocą AWS S3 i IAM. - Twórz skalowalne potoki wsadowe i pobierania w czasie rzeczywistym za pomocą AWS Lambda, Kinesis i Glue. - Przetwarzaj duże zbiory danych za pomocą PySpark na AWS EMR i zarządzaj katalogami metadanych za pomocą AWS Glue. - Zapytaj dane bezpośrednio w S3 za pomocą Athena i wykonuj wysokowydajne operacje magazynowania danych w Redshift. - Zastosuj nowoczesne wzorce projektowania lakehouse, w tym formaty tabel transakcyjnych, takie jak Apache Iceberg na AWS. - Skonfiguruj zautomatyzowane wdrożenia potoków danych przy użyciu podstawowych koncepcji infrastruktury jako kodu. Program nauczania zaczyna się od podstawowej pamięci masowej w chmurze i definicji bezpieczeństwa, zanim przejdzie do pobierania danych, przetwarzania rozproszonego za pomocą Sparka, zapytań bezserwerowych i hurtowni danych.Będziesz uczyć się krok po kroku pisemnych przewodników i fragmentów kodu SQL / Pythona zaprojektowanych w celu zbudowania zaufania inżynierów. Ten kurs jest przeznaczony dla początkujących inżynierów danych, administratorów baz danych i programistów, którzy są nowi w usługach analitycznych AWS.Nie jest wymagane wcześniejsze doświadczenie w inżynierii chmury. Zacznij czytać już dziś, aby zbudować podstawy inżynierii danych w chmurze.