Inhinyeriya ng Datos gamit ang Apache Airflow: Mga Pundasyon at Pagsasanay

Habang lumalaki ang pagiging kumplikado ng mga kapaligiran ng datos, nagiging imposible ang pamamahala ng mga manu-manong script. Nagbibigay ang Apache Airflow ng isang matibay na balangkas upang lumikha at magmonitor ng mga daloy ng trabaho sa pamamagitan ng programa, tinitiyak na darating ang iyong datos sa oras at sa tamang format. Dadalhin ka ng kursong ito mula sa pag-unawa sa mga pangunahing konsepto ng orkestrasyon hanggang sa pamamahala ng mga pipeline na nasa antas ng produksyon. Matututunan mong sumulat ng malinis at nasusukat na code para sa iyong mga daloy ng trabaho at i-deploy ang mga ito sa iba't ibang kapaligiran habang sinusunod ang mga pinakamahusay na kasanayan sa industriya para sa data engineering. Ang iyong matututunan: - Unawain ang mga pangunahing bahagi ng Airflow kabilang ang scheduler, web server, at metadata database - Gumawa at pamahalaan ang Directed Acyclic Graphs (DAGs) gamit ang TaskFlow API at dynamic task mapping - I-configure ang iba't ibang executor tulad ng Celery at Kubernetes upang masukat ang iyong mga workload - Ipatupad ang advanced pipeline logic na may mga sensor, hook, at cross-DAG dependencies - I-secure ang iyong kapaligiran gamit ang Role-Based Access Control (RBAC) at data encryption - Subaybayan ang kalusugan at pagganap ng system gamit ang integrated logging at observability patterns Ang materyal ay nagsisimula sa mga pangunahing terminolohiya at arkitektura bago lumipat sa praktikal na konstruksyon ng DAG. Susuriin mo kung paano i-integrate ang Airflow sa mga external na serbisyo at pamahalaan ang imprastraktura gamit ang mga containerized environment tulad ng Docker at mga cloud-based na Kubernetes cluster. Ang kursong ito ay dinisenyo para sa mga nagsisimula sa data engineering o DevOps na gustong matuto ng workflow orchestration mula sa simula. Hindi kinakailangan ang paunang karanasan sa Airflow. Simulan ang pagbuo ng maaasahang data pipelines ngayon.