Construcción de Pipelines de Datos en Streaming con Kafka y Spark

En el mundo actual impulsado por los datos, procesar los datos a medida que llegan es crucial para tomar decisiones oportunas. Este curso te guía a través de los fundamentos de la construcción de pipelines de streaming de datos robustos y en tiempo real utilizando herramientas estándar de la industria. Pasarás de comprender los conceptos básicos de datos a construir pipelines de streaming completamente funcionales. Al combinar el poder de intermediación de mensajes de Kafka con la fortaleza analítica de Spark Structured Streaming, aprenderás a ingerir, procesar y almacenar flujos continuos de datos de manera eficiente y confiable. Lo que aprenderás: - Comprender la arquitectura fundamental de los flujos de datos en tiempo real y los sistemas impulsados por eventos. - Configurar temas, productores y consumidores de Kafka para gestionar feeds de datos de alto rendimiento. - Aplicar Kafka Connect para ingerir sin problemas logs web y fuentes de datos externas. - Construir aplicaciones Spark Structured Streaming para procesar y transformar datos en vivo sobre la marcha. - Integrar Kafka con Spark para manejar el procesamiento incremental de datos y transformaciones con estado. - Escribir flujos procesados en capas de almacenamiento modernas como Delta Lake y sistemas de archivos distribuidos. El curso comienza con definiciones centrales y configuración del entorno local utilizando flujos de trabajo de contenedores modernos. Luego progresarás paso a paso desde la mensajería básica de Kafka hasta la integración avanzada de Spark, culminando en la construcción de pipelines de extremo a extremo a través de explicaciones escritas y fragmentos de código claros. Diseñado para aspirantes a ingenieros de datos y desarrolladores, este curso no requiere experiencia previa en streaming. Comenzamos con los conceptos básicos absolutos y la terminología clave antes de pasar a la configuración práctica y al código estructurado. Comienza a leer hoy mismo para dominar las tecnologías centrales que impulsan la ingeniería de datos moderna en tiempo real.