LLM Optimization Basics: Compression and Fine-Tuning

Large Language Models (LLMs)은 매우 강력하지만, 그 거대한 크기로 인해 실행하기 어렵고 비용이 많이 드는 경우가 많습니다. 성능을 희생하지 않고 일상적인 하드웨어에 이러한 모델을 어떻게 배포할 수 있을까요? 이 텍스트 기반 코스는 복잡한 LLM optimization의 세계를 이해하기 쉬운 서면 레슨으로 세분화합니다. 모델 크기를 줄이고, 추론 속도를 높이며, 현대적인 산업 기술을 사용하여 성능을 평가하는 방법을 탐구하게 됩니다. 실용적인 개념에 집중함으로써 무거운 AI 모델을 가볍고 접근 가능하게 만드는 방법을 배우게 될 것입니다. What you'll learn: 기초적인 LLM 아키텍처와 왜 모델 크기가 계산 리소스에 영향을 미치는 이유를 이해합니다. 텍스트 생성 품질을 유지하면서 메모리 사용량을 줄이기 위해 quantization 기술을 적용합니다. 더 작고 빠른 모델을 구상하기 위해 모델 pruning 및 knowledge distillation을 탐구합니다. 맞춤형 애플리케이션을 위해 LoRA 및 QLoRA와 같은 parameter-efficient fine-tuning 방법을 연습합니다. 현대적인 벤치마킹 도구와 지표를 사용하여 로컬 LLM 성능을 평가합니다. 최적화된 모델이 현대적인 Retrieval-Augmented Generation (RAG) 파이프라인에 어떻게 통합되는지 알아봅니다. 이 코스는 필수 용어와 신경망 압축의 기본 메커니즘으로 시작합니다. 그 후, fine-tuning 방법과 로컬 배포 전략을 다루는 구조화된 읽기 자료와 서면 연습 문제를 통해 진행하게 됩니다. 초보자와 머신러닝 실무자 지망생을 위해 설계된 이 코스는 고급 AI 엔지니어링에 대한 사전 경험이 필요하지 않습니다. 효율적인 AI 배포에 대한 기초 기술을 쌓기 위해 오늘부터 읽기를 시작해 보세요.