Introducción al Fine-Tuning de LLM con LoRA y QLoRA

Los modelos de lenguaje de gran tamaño son potentes desde el primer momento, pero realmente sobresalen cuando se personalizan para tareas específicas y conocimientos de dominio. Si deseas entrenar un modelo de código abierto con tus propios datos de manera eficiente, necesitas dominar el fine-tuning eficiente en parámetros. Este curso te guía a través del proceso de tomar LLMs de código abierto fundamentales y adaptarlos a tus casos de uso únicos. Explorarás la teoría central detrás de la personalización de modelos y leerás fragmentos de código prácticos para aplicar técnicas de LoRA y QLoRA, transformando modelos generales en herramientas altamente especializadas. Lo que aprenderás: - Comprender los conceptos fundamentales de los modelos de lenguaje de gran tamaño y el fine-tuning eficiente en parámetros (PEFT). - Preparar, limpiar y formatear conjuntos de datos de texto personalizados para un entrenamiento de modelos efectivo. - Aplicar técnicas de LoRA y QLoRA para realizar el fine-tuning de modelos de manera eficiente en hardware estándar. - Configurar entornos virtuales de Python modernos y gestionar dependencias para proyectos de AI. - Evaluar el rendimiento del modelo con fine-tuning utilizando prompt engineering básico y métodos de prueba sistemáticos. - Guardar, exportar y ejecutar tus modelos de código abierto personalizados localmente. El curso comienza con terminología esencial de AI, definiendo cómo las redes neuronales procesan texto, antes de pasar a ejercicios de codificación prácticos basados en texto. Progresarás paso a paso desde la preparación del conjunto de datos hasta la evaluación del modelo, construyendo una comprensión sólida del pipeline de fine-tuning moderno a través de instrucciones escritas claras y ejemplos de código. Este curso está diseñado para principiantes y aspirantes a desarrolladores; no se requiere experiencia previa en machine learning, aunque una familiaridad básica con la lectura de código Python será útil. Comienza tu viaje en la personalización de AI y aprende a realizar el fine-tuning de tu primer LLM hoy mismo.