LLM Alignment: Reinforcement Learning from Human Feedback (RLHF)

Menyelaraskan model bahasa besar agar membantu, jujur, dan tidak berbahaya adalah salah satu tantangan paling kritis dalam pengembangan AI modern. Reinforcement Learning from Human Feedback (RLHF) adalah metodologi inti yang digunakan untuk memandu model mentah menjadi asisten yang cakap. Melalui kursus berbasis teks ini, Anda akan belajar menyelaraskan dan menyempurnakan model open-weights seperti Llama, dimulai dari konsep fundamental dan bergerak melalui seluruh pipeline penyelarasan. Anda akan mengembangkan pemahaman yang jelas tentang model imbalan, optimasi kebijakan, dan evaluasi model modern. Apa yang akan Anda pelajari: - Pahami konsep dasar penyelarasan LLM dan mengapa pembelajaran penguatan diperlukan. - Konfigurasikan model imbalan untuk menangkap preferensi manusia dan memandu perilaku model. - Terapkan teknik optimasi kebijakan untuk menyempurnakan model open-weights. - Evaluasi kinerja dan keamanan model menggunakan metrik penyelarasan standar. - Bandingkan RLHF dengan strategi penyelarasan modern alternatif seperti Direct Preference Optimization (DPO). Kursus ini dimulai dengan terminologi penting dan teori di balik data preferensi manusia sebelum memandu Anda melalui proses langkah demi langkah melatih model imbalan dan mengoptimalkan LLM Anda. Kursus ini dirancang untuk pengembang perangkat lunak, ilmuwan data, dan pemula AI yang ingin memahami bagaimana model bahasa modern dilatih untuk keamanan dan kegunaan. Tidak diperlukan pengalaman sebelumnya dengan pembelajaran penguatan. Mulai membaca hari ini untuk membuka teknik inti di balik penyelarasan AI modern.