Inżynieria danych: Kafka, Spark i Airflow Pipelines

Czy chcesz zbudować solidne i wydajne potoki danych?Ten kurs zapewnia praktyczne podejście do inżynierii danych, koncentrując się na niezbędnych narzędziach i technikach używanych dzisiaj. Zdobędziesz umiejętności konstruowania, wdrażania i zarządzania współczesnymi przepływami pracy związanymi z przetwarzaniem danych, przechodząc od pobierania surowych danych do uporządkowanego lakehouse danych. Czego się nauczysz: - Zapoznaj się z podstawami inżynierii danych i budowy rurociągów. - Wdrażaj wzorce przesyłania strumieniowego i wsadowego za pomocą Kafka i Spark. - Zarządzaj orkiestrą przepływu pracy i harmonogramowaniem za pomocą Airflow. - Skonfiguruj i wchodź w interakcję z danymi lakehouse dla skalowalnego przechowywania danych. - Zastosuj koncepcje ewolucji schematu i umów danych dla niezawodnych przepływów danych. - Ćwicz budowanie i wdrażanie potoków za pomocą Docker Compose. Ten kurs poprowadzi Cię przez konfigurację kompletnego potoku danych, od kolejkowania wiadomości za pomocą Kafki po przetwarzanie rozproszone za pomoca Sparka i przechowywanie danych w lakehouse, wszystko zorganizowane przez Airflow.Zbadasz podstawowe pojęcia, takie jak okna, znaki wodne i zarządzanie schematami. Ten kurs jest przeznaczony dla początkujących z podstawową znajomością Pythona, bez wymaganego wcześniejszego doświadczenia w inżynierii danych. Zacznij budować nowoczesne potoki danych już dziś.