ONNX ve C# ile Yerel LLM Çıkarımı

Özel bir GPU altyapısı olmadan büyük dil modellerini yerel olarak dağıtmak, modern geliştiriciler ve yapay zeka mühendisleri için temel bir beceridir. Bu yazılı kurs; C# ve ONNX Runtime kullanarak kuantize edilmiş modelleri doğrudan CPU üzerinde yapılandırma, yükleme ve çalıştırma konularında size rehberlik eder. Tepkisel yerel yapay zeka uygulamaları oluşturmak için LLMOps esasları, model kuantizasyon teknikleri ve belirteç (token) yönetimi konusunda net bir anlayış geliştireceksiniz. Öğrenecekleriniz: - Temel LLMOps kavramlarını, model mimarisi esaslarını ve terminolojiyi anlayın - C# ortamlarında CPU yürütmesi için ONNX Runtime'ı yapılandırın - 4-bit kuantize edilmiş Phi-3 modellerini yerel olarak yükleyin ve çalıştırın - Belirteçleme (tokenization), istem şablonlama (prompt templating) ve bağlam pencerelerini etkili bir şekilde yönetin - Güvenilir CPU performansı için çıkarım optimizasyonu tekniklerini uygulayın - Yapılandırılmış çıktı ayrıştırma ve temel hata yönetimi kalıplarını uygulayın Okuma materyali, kod odaklı çıkarım hatlarına ve optimizasyon stratejilerine geçmeden önce temel makine öğrenimi terminolojisi ve çalışma zamanı ilkeleriyle başlar. Bu kurs, önceden makine öğrenimi deneyimi gerektirmeden, C# ile yerel olarak dil modelleri çalıştırmakla ilgilenen geliştiriciler ve teknik yeni başlayanlar için tasarlanmıştır. Yerel dil modeli yürütmesini C# uygulamalarınıza taşımak için bugün okumaya başlayın.