CUDA C++アプリケーションの複数ノードへのスケーリング

計算要件とデータセットのサイズが拡大するにつれて、単一GPUによる高速化ではもはや十分でないことがよくあります。アプリケーションを複数のGPUとネットワークノードで実行するように移行することが、真の高性能コンピューティング能力を引き出す鍵となります。このテキストベースのコースでは、GPUアクセラレーションアプリケーションをスケーリングするために必要な基本的なパターン、アーキテクチャの概念、およびプログラミングモデルをガイドします。単一デバイスのコード作成から、複雑なマルチノード並列実行の調整へと移行します。 学習内容: - マルチGPUおよびマルチノード分散システムのコアアーキテクチャを理解する。 - CUDA-aware Message Passing Interface (MPI) を使用してマルチGPU通信を実装する。 - 集合通信パターンを適用して、異なるノード間でデータを効率的に同期する。 - ピアツーピア転送を構成し、GPUDirect RDMAの概念を活用してホストメモリのボトルネックを回避する。 - 構造化された書面による説明とステップバイステップのコードウォークスルーを通じて、クリーンでスケーラブルなCUDA C++コードの記述を実践する。 このコースは、分散メモリシステム、ネットワークトポロジ、およびマルチGPU通信の基本の定義から始まります。その後、通信プロトコル、ピアツーピア転送、およびマルチノードオーケストレーションに関する書面による説明に進みます。このコースは、単一GPU CUDA C++の基本的な理解があり、アプリケーションをスケーリングする方法を学びたい開発者向けに設計されています。マルチノードクラスターまたはMPIの事前の経験は必要ありません。今日から並列コンピューティングスキルをスケーリングし始めましょう。