avatar

Together AI Inkling ile Esnek Muhakeme Katmanı Getiriyor

Göreve göre düşünme derinliğini ayarlayabilen multimodal bir sistem

avatar@togethercompute
22 hours ago

TL;DR:

  • Inkling metin, görüntü ve sesi aynı model içinde işliyor
  • Çıkarım eforunu göreve göre artırıp azaltarak hız veya derinlik seçeneği sunuyor
  • FlashAttention-4 optimizasyonuyla daha hızlı çalışma ve düşük maliyet hedefliyor

Together AI Inkling'i platformuna ekledi

Together AI, Thinking Machines Lab tarafından geliştirilen Inkling modelini aldı. Modelin temel fikri muhakeme gerektiren işleri fazla token harcamadan halletmek. Multimodal mixture-of-experts yapısı bu işi destekliyor.

Modelin ana özellikleri

Inkling metin, görsel ve ses girdilerini tek modelde işleyebiliyor. Asıl fark çıkarım sırasında harcanan eforu ayarlayabilmen:

  • Hızlı ve ucuz cevaplar için eforu düşürebiliyorsun
  • Daha dikkatli yanıtlar gerektiğinde eforu artırabiliyorsun
  • FlashAttention-4 optimizasyonu hızı artırmak için devreye giriyor

| Katman | Ne işe yarıyor | |---|---| | Multimodal yapı | Metin, görsel ve sesi aynı anda ele alıyor | | Ayarlanabilir çıkarım eforu | Hız ile kaliteyi göreve göre dengeleyebiliyorsun | | MoE tasarımı | Sadece gereken uzman parçaları çalıştırarak maliyeti kontrol ediyor | | FlashAttention-4 | Daha verimli inference için altyapıyı optimize ediyor |

Neden dikkat çekici

Duyurunun asıl değeri yeni bir modelden öte, geliştiricilere inference üzerinde ince kontrol sağlaması. Efor seviyesini ayarlayınca aynı modeli farklı ihtiyaçlara göre kullanabiliyorsun: hızlı cevap gereken sorgular, detaylı analiz işleri, doküman işleme, görsel soru-cevap, ses girdileri veya birden fazla veri tipi kullanan agent akışları.

MoE yapısı sadece ihtiyaç duyulan parçaları çalıştırdığı için yüksek hacimli sorgularda maliyet avantajı sağlıyor. Platformlar artık sadece model sunmakla kalmıyor, optimize edilmiş kernel'lar ve kontrol araçları da veriyor.

Kısa değerlendirme

Şu aşamada etki orta seviyede. Geliştiriciler için pratik bir entegrasyon ve teknik tercihleri nedeniyle izlemeye değer. Piyasa için büyük bir kırılım değil ama verimlilik, multimodal kullanım ve inference kontrolünün nasıl bir arada çalıştığını göstermesi açısından önemli.

Verdict: Erken avantaj builder ekiplerde; trader, uzun vadeli holder ve fonlar için doğrudan fayda sınırlı, asıl kazanç ürün ve agent altyapısı geliştirenlerde.