พื้นฐาน Data Lake แบบเรียลไทม์ด้วย Kafka และ Spark

ในโลกที่ขับเคลื่อนด้วยข้อมูลในปัจจุบัน ความสามารถในการประมวลผลและจัดเก็บข้อมูลทันทีที่ข้อมูลเข้ามาถือเป็นทักษะสำคัญสำหรับผู้เชี่ยวชาญด้านข้อมูลทุกคน หลักสูตรนี้มอบแนวทางที่ชัดเจนในการทำความเข้าใจวิธีจัดการสตรีมข้อมูลปริมาณมาก และจัดระเบียบข้อมูลเหล่านั้นให้เป็น Data Lake ที่ทันสมัยและใช้งานได้จริง คุณจะได้เรียนรู้ตั้งแต่แนวคิดพื้นฐานของการรับส่งข้อความ ไปจนถึงการทำความเข้าใจวิธีออกแบบสถาปัตยกรรมไปป์ไลน์แบบครบวงจรที่เปลี่ยนข้อมูลดิบให้เป็นข้อมูลเชิงลึกที่นำไปปฏิบัติได้ สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจสถาปัตยกรรมหลักของ Kafka สำหรับการสตรีมข้อความที่มีปริมาณงานสูง (high-throughput) - นำ Spark Structured Streaming มาใช้เพื่อประมวลผลข้อมูลแบบเรียลไทม์ด้วย API ที่ทันสมัย - กำหนดค่ารูปแบบการจัดเก็บข้อมูล Data Lake โดยใช้รูปแบบตารางที่เชื่อถือได้ เช่น Delta Lake - ประยุกต์ใช้เทคนิคการจัดการ Schema เพื่อให้มั่นใจในคุณภาพของข้อมูลตลอดทั้งไปป์ไลน์ - ฝึกสร้างเวิร์กโฟลว์แบบบูรณาการที่นำเข้า (ingest) แปลง (transform) และจัดเก็บข้อมูลสตรีมมิ่ง - เรียนรู้แนวคิดพื้นฐานของระบบแบบกระจาย (distributed systems) และการประมวลผลสตรีมแบบมีสถานะ (stateful stream processing) หลักสูตรนี้เริ่มต้นด้วยคำศัพท์ที่จำเป็นและองค์ประกอบเชิงแนวคิดของการรับส่งข้อความแบบกระจาย ก่อนที่จะเข้าสู่ตรรกะเชิงปฏิบัติของการประมวลผลสตรีมและการเพิ่มประสิทธิภาพการจัดเก็บ ข้อมูลแนะนำแบบข้อความนี้ออกแบบมาสำหรับผู้เริ่มต้นในสาขาวิศวกรรมข้อมูล (data engineering) และนักพัฒนาที่ต้องการทำความเข้าใจกลไกของสถาปัตยกรรมเรียลไทม์โดยไม่จำเป็นต้องมีประสบการณ์มาก่อนในสาขานี้ เริ่มสร้างรากฐานของคุณในวิศวกรรมข้อมูลสมัยใหม่ได้แล้ววันนี้