NVIDIAとCoreWeaveがモデル再読み込みを15倍速くした

見出し

NVIDIAとCoreWeave、強化学習ポストトレーニング中のモデル再読み込み時間を15倍短縮。

概要

CoreWeaveはNVIDIA DynamoでModelExpressとRouterを動かした。これでRLポストトレーニング時のモデル重み再読み込みを減らした。NVIDIAとYou.comと組んでNemotron 3.5 Lightningを訓練したところ、CoreWeaveの通常構成より15倍速くなった。

分析

大規模モデルのポストトレーニングでは、GPUの数だけでなく重みの移動とワーカーの調整がボトルネックになる。再読み込みが速くなればGPUのアイドルが減り、訓練と生成のサイクルを回しやすくなる。コストも下がり、チームはRLジョブを素早く繰り返せる。

DynamoはNVIDIAがアクセラレーターだけでなくオーケストレーションやサービングのソフトも売る手段になる。CoreWeaveはAIクラウドの顧客に性能面で差をつけられる。このテストはNVIDIAがNemotronのエンタープライズ向けRL作業を直接確かめる機会にもなった。

影響評価

重要度は中程度。技術的な洞察と開発者向けツール、業界の動きに関わる。