Lokalna inferencja LLM za pomocą ONNX i C#

Wdrażanie dużych modeli językowych lokalnie bez dedykowanej infrastruktury GPU to kluczowa umiejętność dla nowoczesnych programistów i inżynierów AI. Ten kurs pisemny przeprowadzi Cię przez konfigurację, ładowanie i uruchamianie skwantyzowanych modeli bezpośrednio na CPU przy użyciu C# i ONNX Runtime. Zyskasz jasne zrozumienie podstaw LLMOps, technik kwantyzacji modeli oraz zarządzania tokenami, aby tworzyć elastyczne, lokalne aplikacje AI. Czego się nauczysz: - Poznasz kluczowe pojęcia LLMOps, podstawy architektury modeli i słownictwo - Skonfigurujesz ONNX Runtime do wykonywania na CPU w środowiskach C# - Załadujesz i uruchomisz lokalnie 4-bitowe skwantyzowane modele Phi-3 - Efektywnie zarządzisz tokenizacją, szablonami promptów i oknami kontekstu - Zastosujesz techniki optymalizacji inferencji dla niezawodnej wydajności CPU - Wdrożysz parsowanie ustrukturyzowanych danych wyjściowych i podstawowe wzorce obsługi błędów Lektura rozpoczyna się od fundamentalnej terminologii uczenia maszynowego i zasad działania środowiska uruchomieniowego, a następnie przechodzi do potoków inferencyjnych sterowanych kodem i strategii optymalizacji. Ten kurs jest przeznaczony dla programistów i początkujących osób technicznych zainteresowanych lokalnym uruchamianiem modeli językowych w C#, i nie wymaga wcześniejszego doświadczenia w uczeniu maszynowym. Zacznij czytać już dziś, aby wprowadzić lokalne wykonywanie modeli językowych do swoich aplikacji C#.