avatar

Modal đẩy nhanh hạ tầng agent: tạo 1 triệu sandbox AI chỉ trong chưa đầy 1 phút

Modal thay đổi nền tảng để xử lý được lượng agent khổng lồ mà không còn vướng mắc ở khâu điều phối cũ

avatar@modal
1 day ago

TL;DR:

  • Bản nâng cấp cho phép tạo hàng chục nghìn sandbox mỗi giây
  • Họ bỏ scheduler trung tâm cùng database chậm để tăng tốc độ tạo sandbox
  • Mục tiêu nhắm vào AI agent, reinforcement learning và các việc cần cô lập nhanh khi workload bùng nổ

Điểm chính

Modal cho biết nền tảng của họ giờ khởi chạy được 1 triệu sandbox cho AI agent trong chưa đầy 1 phút.

Tóm tắt

Modal đã làm lại lớp sandbox để chạy đồng thời hàng triệu instance và tạo mới hàng chục nghìn sandbox mỗi giây. Họ tập trung vào các workload bùng nổ cần cô lập nhanh như job reinforcement learning, agent chạy nền hay những đợt tăng đột biến lưu lượng agent.

Thay vì để luồng tạo sandbox phụ thuộc vào điều phối trung tâm và database chung có độ trễ cao, Modal chuyển sang cách làm mới:

| Thành phần | Cách tiếp cận mới | |---|---| | Scheduling | Dùng các scheduling server scale ngang | | State | Giữ phần lớn trạng thái trực tiếp trên worker | | Metadata | Xử lý bất đồng bộ để giảm nghẽn | | Coordination | Giảm phụ thuộc vào điều phối tập trung |

Phân tích

Điều đáng chú ý là đây không chỉ là tối ưu thông thường. Các AI agent quy mô lớn cần môi trường chạy vừa nhanh vừa cô lập, đặc biệt với nhóm coding agent, browser agent, rollout cho reinforcement learning hay tác vụ tự động hóa ngắn hạn nhưng số lượng lớn.

Modal cho rằng mô hình kiểu Kubernetes không tối ưu cho mức churn và concurrency như vậy. Khi worker được trao nhiều quyền kiểm soát hơn và metadata xử lý ngoài đường nóng, họ đang đánh đổi một phần tính nhất quán toàn cục để lấy tốc độ khởi tạo.

Nếu kiến trúc này ổn định trong production, Modal có thể trở thành lựa chọn tốt hơn cho các công ty agent cần bung lượng sandbox rất lớn theo nhu cầu, thay vì tự xây hạ tầng chuyên dụng.

Đánh giá tác động

  • Quan trọng cao với mảng developer tools và hạ tầng AI.
  • Phù hợp xu hướng quanh agent platform và backend thực thi cho AI agent.

Verdict: Câu chuyện này vẫn còn sớm với phần lớn trader và holder, nhưng đã có giá trị trực tiếp với builder hạ tầng AI và các fund theo dõi lớp compute cho agent. Người hưởng lợi rõ nhất là các team xây sản phẩm agent cần scale workload bùng nổ; nhà đầu tư thứ cấp chưa có nhiều lợi thế nếu chỉ nhìn narrative.