avatar

Together AI ra mắt trình biên dịch tác nhân để tối ưu suy luận liên tục trong môi trường sản xuất

Together AI đã ra mắt Together Compiler, một hệ thống do các tác nhân điều khiển, liên tục tinh chỉnh hoạt động suy luận dựa trên lưu lượng thực tế trong môi trường sản xuất. Công ty cho biết tốc độ có thể nhanh hơn tới 2,6 lần so với các cấu hình InferenceX dẫn đầu.

avatar
Surf AI ·

TL;DR:

  • Together Compiler dùng các tác nhân để liên tục tinh chỉnh hoạt động suy luận theo khối lượng công việc thực tế trong môi trường sản xuất.
  • Together AI cho biết hiệu năng có thể nhanh hơn tới 2,6 lần so với các cấu hình InferenceX dẫn đầu, và tốc độ thực thi trên khối lượng công việc của khách hàng có thể tăng tới 50%.
  • Cách làm này có thể giảm chi phí trên mỗi token, cải thiện độ trễ hoặc tăng công suất trên các cụm GPU hiện có.
  • Đây là một phần trong xu hướng rộng hơn của hạ tầng AI: ngăn xếp phục vụ chuyên biệt và công nghệ trình biên dịch. Tối ưu hóa hệ thống tự động cũng đang trở thành một lợi thế cạnh tranh.

Tiêu đề

Together AI đã ra mắt một trình biên dịch tác nhân, liên tục tinh chỉnh hoạt động suy luận trong môi trường sản xuất. Công ty cho biết tốc độ có thể nhanh hơn tới 2,6 lần so với các cấu hình dẫn đầu.

Tóm tắt

Together Compiler là hệ thống dùng các tác nhân để liên tục tinh chỉnh hoạt động suy luận dựa trên lưu lượng thực tế trong môi trường sản xuất. Together AI cho biết hiện đang phục vụ hàng nghìn tỷ token mỗi ngày. Công ty báo cáo hiệu năng nhanh hơn tới 2,6 lần so với các cấu hình InferenceX dẫn đầu và tốc độ thực thi trên khối lượng công việc của khách hàng tăng tới 50%.

Phân tích

Together Compiler nhắm vào một trong những điểm nghẽn chính khi triển khai AI: lấy thông lượng cao hơn và độ trễ thấp hơn từ cùng phần cứng đang phục vụ mô hình. Vì dựa trên lưu lượng thực tế, cách làm này biến việc tinh chỉnh suy luận từ một việc kỹ thuật làm một lần thành vòng lặp điều khiển liên tục, tự động, thích ứng khi khối lượng công việc thay đổi. Nếu những mức cải thiện được báo cáo giữ nguyên trong bài toán kinh tế thực tế, Together có thể hưởng lợi từ chi phí trên mỗi token thấp hơn, thời gian phản hồi nhanh hơn hoặc công suất cao hơn trên các cụm GPU hiện có. Đây cũng là một phần trong xu hướng rộng hơn của hạ tầng AI: lợi thế cạnh tranh không còn nằm gọn ở chất lượng mô hình mà chuyển sang ngăn xếp phục vụ chuyên biệt, công nghệ trình biên dịch và tối ưu hóa hệ thống tự động.

Đánh giá tác động

  • Mức độ quan trọng: Cao
  • Danh mục: Công cụ dành cho nhà phát triển, Thông tin chuyên sâu về kỹ thuật, Xu hướng ngành

Surf chỉ cung cấp thông tin và không cấu thành lời khuyên đầu tư. Tất cả các quyết định đầu tư được thực hiện với rủi ro của riêng bạn. Vui lòng tiến hành nghiên cứu của riêng bạn (DYOR).