Menskalakan Aplikasi CUDA C++ ke Beberapa Node

Seiring dengan meningkatnya tuntutan komputasi dan ukuran dataset, akselerasi single-GPU seringkali tidak lagi cukup. Mentransisikan aplikasi Anda untuk berjalan di beberapa GPU dan node jaringan adalah kunci untuk membuka kekuatan komputasi kinerja tinggi yang sesungguhnya. Kursus berbasis teks ini memandu Anda melalui pola dasar, konsep arsitektur, dan model pemrograman yang diperlukan untuk menskalakan aplikasi yang dipercepat GPU Anda. Anda akan beralih dari menulis kode perangkat tunggal ke mengoordinasikan eksekusi paralel multi-node yang kompleks. Apa yang akan Anda pelajari: - Memahami arsitektur inti sistem terdistribusi multi-GPU dan multi-node. - Mengimplementasikan komunikasi multi-GPU menggunakan CUDA-aware Message Passing Interface (MPI). - Menerapkan pola komunikasi kolektif untuk menyinkronkan data secara efisien di seluruh node terpisah. - Mengonfigurasi transfer peer-to-peer dan memanfaatkan konsep GPUDirect RDMA untuk melewati hambatan memori host. - Berlatih menulis kode CUDA C++ yang bersih dan skalabel melalui penjelasan tertulis yang terstruktur dan panduan kode langkah demi langkah. Kursus ini dimulai dengan definisi dasar sistem memori terdistribusi, topologi jaringan, dan dasar-dasar komunikasi multi-GPU. Anda kemudian akan melanjutkan dengan penjelasan tertulis tentang protokol komunikasi, transfer peer-to-peer, dan orkestrasi multi-node. Kursus ini dirancang untuk pengembang yang memiliki pemahaman dasar tentang CUDA C++ single-GPU dan ingin belajar cara menskalakan aplikasi mereka. Tidak diperlukan pengalaman sebelumnya dengan klaster multi-node atau MPI. Mulailah menskalakan keterampilan komputasi paralel Anda hari ini.