พื้นฐานการประเมิน AI Agent ด้วย LangSmith

เมื่อ AI Agent มีความซับซ้อนมากขึ้น การทำให้มั่นใจว่าพวกมันทำงานได้อย่างน่าเชื่อถือในสถานการณ์จริงจึงเป็นเรื่องสำคัญอย่างยิ่ง หากไม่มีการทดสอบและการทำ tracing ที่เหมาะสม การทำความเข้าใจว่าทำไม Agent ถึงทำงานล้มเหลวหรือเกิดอาการหลอน (hallucinated) อาจให้ความรู้สึกเหมือนการเดา คอร์สนี้เป็นคู่มือการเรียนรู้ในรูปแบบการอ่านที่มีโครงสร้างชัดเจนสำหรับการประเมิน AI Agent โดยใช้ LangSmith คุณจะเริ่มต้นด้วยแนวคิดพื้นฐานของ agentic AI และพฤติกรรมของ LLM ก่อนจะเข้าสู่เทคนิคเชิงปฏิบัติสำหรับการทำ tracing เส้นทางการทำงาน การสร้างชุดข้อมูล และการทำ benchmarking ประสิทธิภาพ เมื่อสิ้นสุดการเรียนรู้นี้ คุณจะรู้วิธีวัดความแม่นยำและความน่าเชื่อถือ ซึ่งจะช่วยให้คุณมีความมั่นใจในการนำแอปพลิเคชัน Agent จากขั้นต้นแบบไปสู่การใช้งานจริง (production) สิ่งที่คุณจะได้เรียนรู้: • ทำความเข้าใจคำศัพท์หลักของ AI Agent และเหตุใดการทดสอบซอฟต์แวร์แบบดั้งเดิมจึงไม่เพียงพอ • ทำ tracing เส้นทางการทำงานของ Agent เพื่อดีบั๊ก prompt ที่ซับซ้อนและการเรียกใช้เครื่องมือ (tool calls) • สร้างและจัดการชุดข้อมูลการประเมินเพื่อทำ benchmarking ประสิทธิภาพของ Agent เมื่อเวลาผ่านไป • ประยุกต์ใช้รูปแบบการประเมินสมัยใหม่ รวมถึงเทคนิค LLM-as-a-judge • วัดคุณภาพของ Retrieval-Augmented Generation (RAG) และขั้นตอนการใช้เหตุผลของ Agent • กำหนดค่าโปรเจกต์ LangSmith เพื่อตรวจสอบเวิร์กโฟลว์ของ Agent ที่พร้อมใช้งานจริง เนื้อหาในหลักสูตรนี้เรียงลำดับอย่างเป็นเหตุเป็นผล ตั้งแต่คำจำกัดความพื้นฐานของ AI Agent ไปจนถึงเวิร์กโฟลว์การประเมินเชิงปฏิบัติ โดยใช้คำอธิบายที่ชัดเจนและตัวอย่างโค้ดที่นำไปใช้ได้จริง คุณจะได้อ่านสถานการณ์จำลองแบบทีละขั้นตอนที่แสดงให้เห็นถึงวิธีตรวจจับข้อผิดพลาดและปรับปรุงความน่าเชื่อถือของ Agent คอร์สนี้ออกแบบมาสำหรับผู้เริ่มต้นและนักพัฒนาที่ยังใหม่กับการประเมิน AI โดยไม่จำเป็นต้องมีประสบการณ์กับ LangSmith หรือ machine learning ขั้นสูงมาก่อน เริ่มอ่านวันนี้เพื่อฝึกฝนทักษะที่จำเป็นสำหรับการทดสอบและทำ benchmarking สำหรับ AI Agent สมัยใหม่