Together AI, çıkarımı üretim trafiğine göre sürekli ayarlayan ajan tabanlı derleyiciyi başlattı
Together Compiler, canlı üretim trafiğine bakarak çıkarım ayarlarını sürekli güncelliyor. Together AI, InferenceX'teki önde gelen yapılandırmalara kıyasla 2,6 kata kadar daha yüksek hız ve müşteri iş yüklerinde yüzde 50'ye kadar daha hızlı yürütme bildirdiğini öne sürüyor.
TL;DR:
- Together Compiler, çıkarım ayarlarını canlı üretim iş yüklerine göre sürekli güncellemek için ajanları kullanıyor.
- Together AI, InferenceX'teki önde gelen yapılandırmalara kıyasla 2,6 kata kadar daha yüksek performans ve müşteri iş yüklerinde yüzde 50'ye kadar daha hızlı yürütme elde ettiğini öne sürüyor.
- Kazanımlar üretimde tutarsa token başına maliyet düşebilir, gecikme iyileşebilir veya mevcut GPU filoları ek kapasite kazanabilir.
- Lansman, yapay zekâ altyapısında uzmanlaşmış sunum yığınlarına ve derleyici teknolojisine yönelen daha geniş bir eğilimin parçası. Otomatik sistem optimizasyonu da artık rekabet avantajı sayılıyor.
Başlık
Together AI, üretim çıkarımını sürekli ayarlayan ajan tabanlı bir derleyici başlattı. Şirket, önde gelen yapılandırmalara kıyasla 2,6 kata kadar daha yüksek hız bildirdiğini öne sürüyor.
Özet
Together Compiler, çıkarım ayarlarını canlı üretim trafiğine göre sürekli güncelliyor. Together AI, platformun günde trilyonlarca token sunduğunu belirtiyor. Şirketin bildirdiğine göre sistem, InferenceX'teki önde gelen yapılandırmalara kıyasla 2,6 kata kadar daha yüksek performans ve müşteri iş yüklerinde yüzde 50'ye kadar daha hızlı yürütme sağlıyor.
Analiz
Together Compiler, yapay zekâ dağıtımının bilinen darboğazlarından birine yükleniyor: aynı sunum donanımından daha yüksek verim ve daha düşük gecikme. Trafiğe göre ayar yapması, çıkarım optimizasyonunu tek seferlik bir mühendislik işinden sürekli çalışan bir kontrol döngüsüne çeviriyor; iş yükü değiştiğinde ayarlar da değişiyor. Bildirilen kazanımlar üretim ekonomisinde tutarsa Together, token başına daha düşük maliyet, daha hızlı yanıt süreleri veya mevcut GPU filolarında daha yüksek kapasite elde edebilir. Lansman daha geniş bir eğilimin parçası: avantaj model kalitesinin dışına, uzmanlaşmış sunum yığınlarına, derleyici teknolojisine ve otomatik optimizasyona kayıyor.
Etki Değerlendirmesi
- Önem: Yüksek
- Kategoriler: Geliştirici Araçları, Teknik İçgörü, Sektör Trendi
Surf yalnızca bilgi sağlar ve yatırım tavsiyesi niteliği taşımaz. Tüm yatırım kararları kendi sorumluluğunuzdadır. Lütfen kendi araştırmanızı yapın (DYOR).