Scala dan Spark untuk Analisis Data Besar

Karena dataset tumbuh terlalu besar untuk satu mesin, pengembang modern dan insinyur data harus berpindah dari pemrosesan lokal tradisional ke komputasi terdistribusi. Kursus berbasis teks ini memandu Anda melalui konsep inti pemroses data besar, menunjukkan bagaimana memanfaatkan kecepatan Apache Spark menggunakan paradigma fungsional yang elegan dari Scala. Anda akan berpindah dari menulis kode lokal dasar ke merancang pipa data terdistribusi yang kuat yang dapat diukur di seluruh cluster. Dengan membaca penjelasan konseptual yang jelas dan menganalisis contoh kode praktis, Anda akan membangun fondasi yang kokoh dalam sistem terdistribusikan. Apa yang akan kau pelajari: - Mengerti prinsip dasar komputasi terdistribusi, eksekusi cluster, dan model memori Spark. - Terapkan konsep pemrograman fungsional di Scala untuk memanipulasi koleksi data terdistribusi dengan aman dan efisien. - API terstruktur Master Spark, termasuk DataFrames dan Datasets, untuk transformasi data yang dioptimalkan. - Tulis ekspresif Spark SQL queries untuk menganalisis skala besar terstruktur dan semi-terstruktur data. - Konfigurasi pipa data untuk membaca dan menulis ke format penyimpanan modern seperti Parquet dan Delta Lake. - Praktik mengidentifikasi dan menyelesaikan kendala kinerja umum dalam tugas data terdistribusi. Kursus ini dimulai dengan terminologi big data yang penting, sintaks dasar Scala, dan konsep distribusi inti sebelum beralih ke manipulasi data praktis, desain API yang terstruktur, dan aliran kerja optimalisasi praktis. Kursus ini dirancang untuk pemula untuk big data, termasuk pengembang, analis data, dan insinyur data bercita-cita yang ingin belajar pemrosesan terdistribusi dari dasar tanpa perlu pengalaman cluster sebelumnya. Mulai membaca hari ini untuk membuka kekuatan analisis data terdistribusi dengan Scala dan Spark.