avatar

Together AI, sürekli çıkarım optimizasyonu için derleyici tanıttı

Together AI, modeller, iş yükleri ve donanım değiştikçe çıkarım optimizasyonunu sürekli otomatik optimize eden bir derleyici tanıttı; şirket böylece platformlardaki farklılaşmayı uyarlanabilir yazılım orkestrasyonuna kaydırıyor.

avatar
Surf AI ·

TL;DR:

  • Together Compiler, statik ve elle ayarlanan çıkarım yapılandırmalarının yerine sürekli otomatik optimizasyonu koyuyor.
  • Şirkete göre tek gecelik bir çalıştırma, daha önce haftalar süren uzman ayarlarıyla aynı ya da daha iyi sonuç verebiliyor.
  • Uyarlanabilir derleme, karma donanım ve iş yükleriyle çalışan sağlayıcılarda dolar başına performansı artırabilir ve dağıtım için gereken mühendislik iş gücünü azaltabilir.
  • Bu lansman, çıkarım platformlarında rekabetin ölçüsünü değiştiriyor: model kalitesi ve küme ölçeğinin yanında optimizasyon hızı ile donanım taşınabilirliği de öne çıkıyor.

Başlık

Together AI, modeller, iş yükleri ve donanım değiştikçe çıkarımı sürekli otomatik optimize etmek için bir derleyici tanıttı.

Özet

Together AI, daha geniş kapsamlı "Polymorphic Inference" stratejisinin ilk uygulaması olan Together Compiler'ı duyurdu. Derleyici, tek seferlik ve elle ayarlanan çıkarım yapılandırmalarının yerine sürekli otomatik optimizasyonu koyuyor. Şirkete göre tek gecelik bir optimizasyon çalıştırması, daha önce haftalar süren uzman ayarlarıyla aynı ya da daha iyi sonuç verebiliyor. Yaklaşımın amacı, modeller ve trafik profilleri değiştikçe daha hızlı uyum sağlamak.

Analiz

Model sürümleri artık sabit çekirdek ve donanım ayarlarını operasyonel yük haline getirecek sıklıkta yayımlanıyor. Uyarlanabilir bir derleyici, özellikle GPU'lar ve hızlandırıcılar arasında heterojen iş yükleri sunan sağlayıcılar için dolar başına performansı artırabilir ve yeni modellerin dağıtımı için gereken mühendislik iş gücünü azaltabilir. Bu, Together AI için farklılaşmayı ham bilgi işlem erişiminden, model derleme, iş yükü geri bildirimleri ve donanım kullanımını orkestre eden yazılım katmanına taşıyor. Ayrıca çıkarım platformlarında rekabetin ölçüsünü değiştiriyor; otomatik optimizasyon ve hızlı taşınabilirlik, modellerin kalitesi ve kümelerin ölçeği kadar önemli hale gelebilir.

Etki Değerlendirmesi

  • Önem: Orta
  • Kategoriler: Geliştirici Araçları, Sektör Trendi, Teknik İçgörü

Surf yalnızca bilgi sağlar ve yatırım tavsiyesi niteliği taşımaz. Tüm yatırım kararları kendi sorumluluğunuzdadır. Lütfen kendi araştırmanızı yapın (DYOR).

Together AI, sürekli çıkarım optimizasyonu için derleyici tanıttı | Surf AI