avatar

英伟达和 CoreWeave 把模型重载时间压到原来的十五分之一

重载更快,强化学习后训练里的 GPU 空转时间就少了

avatar
11 days ago

TL;DR:

  • CoreWeave 在英伟达 Dynamo 里跑 ModelExpress 和 Router,加快权重重载
  • 训 Nemotron 3.5 Lightning 时,重载速度比基线快 15 倍

背景

英伟达和 CoreWeave 把强化学习后训练里的模型重载时间压到了原来的 1/15。

做法

CoreWeave 在 Dynamo 平台上跑 ModelExpress 和 Router。这俩工具专门对付反复出现的权重重载问题。跟英伟达和 You.com 一起干的时候,他们在训 Nemotron 3.5 Lightning 的过程中,把重载速度拉高了 15 倍。

分析

现在大模型后训练不光看 GPU 数量,权重搬来搬去和推理 worker 协调也成了瓶颈。重载快点,GPU 空转就少,训练、生成、再训的循环能更快跑完。成本下来了,团队迭代强化学习任务也更顺手。

Dynamo 让英伟达不只卖加速器,还能卖编排和服务软件,提高利用率。CoreWeave 给 AI 云客户提供了性能优势。这次测试也让英伟达直接看了 Nemotron 在企业级强化学习负载里的表现。

影响

重要性中等,属于技术洞察、开发者工具和行业趋势这类。