Déploiement de LLMs locaux : vLLM, Quantization et Inference

Exécuter des Large Language Models (LLMs) localement ou en production peut sembler intimidant en raison des exigences matérielles massives et des configurations complexes. Alors que l'AI continue d'évoluer, la capacité d'héberger vos propres modèles efficacement devient une compétence essentielle pour les développeurs et les équipes opérationnelles. Ce cours décompose le processus de déploiement et d'optimisation des LLMs, vous transformant d'un débutant en quelqu'un capable de servir des modèles AI de haute performance efficacement. Vous explorerez comment réduire l'empreinte mémoire et maximiser la vitesse d'Inference en utilisant des techniques modernes, garantissant que vous pouvez exécuter des modèles puissants même avec des ressources informatiques limitées. Ce que vous apprendrez : • Comprendre les concepts fondamentaux de l'architecture LLM, de l'Inference et de la gestion de la mémoire. • Calculer les exigences matérielles et estimer les besoins en GPU VRAM pour différentes tailles de modèles. • Appliquer des méthodes de Quantization modernes comme GGUF, AWQ et GPTQ pour optimiser les poids des modèles. • Configurer et déployer des modèles en utilisant vLLM pour une Inference à haut débit et faible latence. • Créer des points de terminaison REST API standard pour intégrer de manière transparente des modèles locaux dans vos applications. • S'entraîner à la conteneurisation de vos déploiements LLM en utilisant Docker pour des environnements cohérents et évolutifs. Le voyage commence par la terminologie AI essentielle et les bases du matériel avant de passer à des exercices écrits pratiques axés sur la Quantization et le déploiement. Vous progresserez étape par étape à travers des scripts de configuration et des modèles de déploiement utilisés dans le MLOps moderne. Conçu pour les développeurs de logiciels, les futurs ingénieurs DevOps et les passionnés de technologie sans expérience préalable en machine learning, ce guide textuel ne nécessite qu'une compréhension de base des concepts de programmation. Commencez à lire dès aujourd'hui pour développer vos compétences en déploiement AI moderne et en optimisation d'Inference.