Teknik Data: Kafka, Spark, dan Saluran Aliran Udara

Apakah Anda ingin membangun pipa data yang kuat dan efisien? Kursus ini menyediakan pendekatan praktis untuk rekayasa data, berfokus pada alat dan teknik yang penting yang digunakan saat ini. Anda akan mendapatkan keterampilan untuk membangun, menerapkan, dan mengelola aliran kerja pemrosesan data kontemporer, beralih dari pengambilan data mentah ke data lakehouse terstruktur. Apa yang akan kau pelajari: - Mengerti dasar-dasar rekayasa data dan konstruksi pipa. - Implementasi streaming dan batch data processing patterns dengan Kafka dan Spark. - Mengurus workflow orkestrasi dan penjadwalan menggunakan Airflow. - Konfigurasi dan berinteraksi dengan data lakehouse untuk penyimpanan data skalabel. - Terapkan konsep evolusi schema dan kontrak data untuk aliran data yang dapat diandalkan. - Praktik membangun dan menerapkan pipa menggunakan Docker Compose. Kursus ini memandu Anda melalui pengaturan pipa data lengkap, dari antrian pesan dengan Kafka hingga pemrosesan terdistribusi dengan Spark dan penyimpanan data di sebuah rumah danau, semua diorkestrasi oleh Airflow. Anda akan menjelajahi konsep penting seperti jendela, watermarking, dan manajemen schema. Kursus ini dirancang untuk pemula dengan pemahaman dasar Python, tanpa pengalaman rekayasa data sebelumnya yang diperlukan. Mulai membangun pipa data modern Anda hari ini.