Introduzione al Machine Learning con Spark con PySpark

Man mano che i volumi di dati crescono, le librerie di machine learning tradizionali su singola macchina raggiungono i loro limiti. Spark fornisce la potenza di calcolo distribuito necessaria per addestrare modelli su set di dati enormi, e PySpark MLlib rende questa potenza accessibile. In questo corso solo testuale, passerai dai concetti fondamentali di calcolo distribuito alla costruzione e valutazione di pipeline di machine learning scalabili. Cosa imparerai: • Imparare l'architettura centrale di Spark e come funziona l'elaborazione distribuita dei dati. • Comprendere come preparare e trasformare grandi set di dati utilizzando i DataFrame di PySpark. • Costruire pipeline di machine learning utilizzando PySpark MLlib per la classificazione e la regressione. • Applicare tecniche di ingegneria delle feature come l'assemblaggio di vettori, lo scaling e l'indicizzazione delle stringhe. • Valutare le prestazioni del modello utilizzando metriche di valutazione distribuite e la convalida incrociata. • Configurare e salvare i modelli addestrati per l'inferenza futura e i flussi di lavoro MLOps di base. Inizierai con la terminologia essenziale e la meccanica fondamentale dell'architettura distribuita di Spark. Da lì, progredirai attraverso spiegazioni scritte dettagliate e frammenti di codice, imparando come pulire i dati, ingegnerizzare le feature e addestrare i modelli passo dopo passo. Questo corso è progettato per i principianti del calcolo distribuito. Una conoscenza di base di Python è utile, ma non è richiesta alcuna esperienza precedente con Spark o machine learning. Inizia a leggere oggi per padroneggiare il machine learning scalabile con PySpark.