avatar

Modal 不到一分钟启动百万 AI 沙箱,Agent 基础设施竞争转向吞吐

Modal 重做了沙箱平台,能同时扛住海量 Agent 并发,绕开了传统架构启动和调度上的老问题

avatar@modal
1 day ago

TL;DR:

  • Modal 的更新让平台每秒能新建好几万个沙箱
  • 他们去掉了中心调度器和慢速数据库,缩短启动路径
  • 主要服务于 AI Agent、强化学习以及需要快速隔离的突发负载

核心消息

Modal 表示,现在能在不到一分钟内启动 100 万个 AI Agent 沙箱。

摘要

Modal 把沙箱平台底层重构了一遍,能同时跑几百万个沙箱,还能每秒新建数万个。这主要针对三类负载:

  • 强化学习任务:需要大规模并发 rollout 和快速环境重置;
  • 后台 Agent:需要持续、隔离、可快速拉起的执行环境;
  • 突发型 Agent 流量:短时间内大量请求涌入,对冷启动和调度延迟特别敏感。

为了实现这些,Modal 移除了沙箱创建路径里的中心协调组件和慢速共享数据库,改用可横向扩展的调度服务器,把大部分状态留在 worker 本地。

分析

这次更新的重点是解决 AI Agent 基础设施里的高频创建、高并发、强隔离问题,而不是单纯堆算力。

对编码 Agent、浏览器 Agent、RL rollout 以及各种自动化任务来说,沙箱不只是运行容器,还是执行不可信代码、隔离上下文、快速回收状态的基本单元。Modal 认为传统 Kubernetes 架构不是为这种 churn 和并发创建设计的。

架构取舍大致如下:

| 设计取舍 | Modal 的做法 | 目标 | |---|---|---| | 调度路径 | 移除中心化调度瓶颈 | 降低大规模并发创建延迟 | | 状态管理 | 更多状态下沉到 worker 本地 | 减少共享数据库依赖 | | 元数据处理 | 异步化处理元数据 | 提升沙箱创建吞吐 | | 一致性模型 | 牺牲部分全局一致性 | 换取更高速度和扩展性 |

因此 Modal 是用较弱的全局一致性换来了更高的启动吞吐和更低的调度延迟。如果这套机制在真实生产环境里稳定,Modal 会更适合那些需要按需拉起大量沙箱的 Agent 公司。

影响评估

  • 对开发者工具和 AI 基础设施赛道比较重要
  • 与 Agent 平台、自动化执行后端和大规模推理基础设施的趋势相关

Verdict: 这个方向还处在早期,真正受益的是 AI Agent 基础设施团队、开发者工具平台和需要大规模隔离执行环境的应用构建者,普通交易者和长期持有人不是直接受益方。