Together AI ra mắt compiler tối ưu suy luận liên tục
Together AI giới thiệu compiler tự động tối ưu inference liên tục khi mô hình, workload và phần cứng thay đổi. Trọng tâm khác biệt hóa của nền tảng vì thế chuyển sang khả năng điều phối phần mềm thích ứng.
TL;DR:
- Together Compiler thay các cấu hình inference tĩnh, vốn phải tinh chỉnh thủ công, bằng cơ chế tối ưu tự động và liên tục.
- Theo Together AI, một lần chạy tối ưu qua đêm có thể đạt hoặc vượt kết quả mà chuyên gia từng mất nhiều tuần để tinh chỉnh.
- Compilation thích ứng có thể tăng hiệu năng trên mỗi đô la và giảm công triển khai cho các nhà cung cấp phải phục vụ nhiều workload trên phần cứng đa dạng.
- Động thái này nâng chuẩn cạnh tranh giữa các nền tảng inference: tốc độ tối ưu và khả năng tương thích với nhiều loại phần cứng giờ quan trọng không kém chất lượng mô hình và quy mô cluster.
Tiêu đề
Together AI giới thiệu compiler nhằm tự động tối ưu inference liên tục khi mô hình, workload và phần cứng thay đổi.
Tóm tắt
Together AI công bố Together Compiler, triển khai đầu tiên trong chiến lược rộng hơn có tên "Polymorphic Inference". Công cụ này thay các cấu hình inference được tinh chỉnh thủ công một lần bằng cơ chế tối ưu tự động liên tục. Theo công ty, một lần chạy tối ưu qua đêm có thể đạt hoặc vượt hiệu quả của quy trình chuyên gia từng mất nhiều tuần. Mục tiêu là giúp hệ thống thích ứng nhanh hơn khi mô hình và lưu lượng thay đổi.
Phân tích
Tần suất phát hành mô hình hiện đủ cao để việc tuning kernel và phần cứng theo kiểu tĩnh trở thành lực cản vận hành. Một compiler thích ứng có thể tăng hiệu năng trên mỗi đô la và giảm công sức kỹ thuật cần để triển khai mô hình mới, nhất là với các nhà cung cấp phải xử lý workload không đồng nhất trên nhiều loại GPU và accelerator.
Với Together AI, điều này chuyển lợi thế cạnh tranh từ quyền tiếp cận compute thô sang lớp phần mềm điều phối:
- compilation của mô hình;
- phản hồi từ workload;
- mức sử dụng phần cứng.
Cách tiếp cận này cũng nâng chuẩn cạnh tranh của các nền tảng inference. Tối ưu tự động và khả năng port nhanh giữa các loại phần cứng có thể quan trọng không kém chất lượng mô hình và quy mô cluster.
Đánh giá tác động
- Mức độ quan trọng: Trung bình
- Danh mục: Công cụ cho developer, Xu hướng ngành, Góc nhìn kỹ thuật
Verdict: Người xây dựng và các nhà cung cấp inference đang ở vị thế sớm; lợi thế thuộc về những bên triển khai được compiler tối ưu thích ứng trên workload và phần cứng đa dạng, trong khi trader và holder dài hạn chưa có luận điểm trực tiếp đủ mạnh từ sự kiện này.
Surf chỉ cung cấp thông tin và không cấu thành lời khuyên đầu tư. Tất cả các quyết định đầu tư được thực hiện với rủi ro của riêng bạn. Vui lòng tiến hành nghiên cứu của riêng bạn (DYOR).