Together AI hỗ trợ mô hình Ternary Bonsai 27B chạy trên điện thoại để thử trước khi chuyển hẳn sang thiết bị
Mô hình đa phương thức 27B giờ chạy được cục bộ thay vì phải lệ thuộc hoàn toàn vào cloud
@togethercomputeTL;DR:
- Together AI đã tích hợp PrismML Ternary Bonsai 27B
- Trọng số ternary cắt giảm bộ nhớ và sức tính toán cần thiết
- Nếu hiệu năng ổn, nhiều tác vụ AI có thể chuyển về chạy ngay trên thiết bị
Together AI vừa thêm hỗ trợ cho PrismML Ternary Bonsai 27B, một mô hình đa phương thức 27B được thiết kế để chạy trên điện thoại và thiết bị edge.
Mô hình dùng ternary weights nên tham số có độ chính xác thấp hơn, giúp giảm đáng kể nhu cầu về bộ nhớ và tính toán. Kết quả là AI có thể phản hồi nhanh hơn và rẻ hơn nếu workload chạy trực tiếp trên thiết bị.
Nhờ môi trường trên Together AI, developer có thể thử nghiệm chất lượng trước khi quyết định đưa mô hình lên thiết bị thật. Đây là bước kiểm tra thực tế: xem mô hình có đủ tốt để rời cloud hay không.
Hiện xu hướng không chỉ là làm mô hình to ra nữa. Mọi người đang tập trung vào các cách nén và tối ưu thông minh hơn để triển khai dễ dàng hơn.
Nếu bạn đang làm về AI chạy cục bộ thì đây đáng để thử. Lợi thế rõ nhất dành cho dev cần test edge deployment.