أنابيب بيانات عملية مع Apache Airflow

هل تعبتم من تشغيل نصوص البيانات يدوياً وتكدستم لتتبع اعتماداتها؟ تعلموا كيفية أتمتة وإدارة عمليات البيانات المعقدة باستخدام Apache Airflow، وهي الأداة المعيارية في هذا المجال لتنسيق تدفق العمل. تقدم هذه الدورة مقدمة شاملة قائمة على النص لبناء أنابيب بيانات موثوقة. وستتحرك من المفاهيم الأساسية إلى التطبيق العملي، وتتعلم تعريف، وجدولة، ورصد تدفقات عملك بالكامل من خلال البرمجة. وبحلول نهاية الدورة، ستكون لديك المهارات الأساسية لبناء أنابيب بيانات قوية، وقابلة للتكرار، وملاحظة لمشاريعك الخاصة. ماذا ستتعلم: - فهم المفاهيم الأساسية لنظام Airflow، بما في ذلك DAGs، والعاملين، والمهام، والهيكل الأساسي. - إنشاء أول خط أنابيب للبيانات من الصفر، وتحديد تبعيات المهام وتحديد مواعيد العمليات المنتظمة. - استخدام واجهة برمجة التطبيقات الحديثة TaskFlow لكتابة أنابيب بيانات نظيفة وبديهية ومستمدة من لغة بايثون. - تعلم استخدام الروابط والاتصالات للتفاعل بشكل آمن مع النظم الخارجية مثل قواعد البيانات والخدمات السحابية. - ممارسة نقل البيانات بين المهام بفعالية باستخدام آلية XComs من Airflow. - تحديد تبعيات البيانات وسلالات البيانات باستخدام خصائص حديثة مثل الجدول الزمني المستند إلى البيانات والأصول. - استكشاف مختلف منفذي تدفق الهواء وفهم مبادئ قياس تنسيق البيانات. تبدأ الدورة بالمبادئ الأساسية لتنسيق البيانات والمكونات الرئيسية لـ Airflow. ثم ستتقدم من خلال تمارين عملية ومكتوبة لبناء وإدارة أنابيب بيانات كاملة، وتعزيز فهمك في كل خطوة. هذه الدورة مصممة للمبتدئين تماما. لا تحتاج إلى خبرة سابقة مع Apache Airflow أو تنسيق البيانات، على الرغم من أن الفهم الأساسي للغة بايثون سيكون مفيداً. ابدأ ببناء أنابيب بيانات آلية اليوم.