Together AI, PrismML'in Ternary Bonsai 27B modelini platformunda kullanıma açtı. Modelin hedefi 27 milyar parametreli multimodal yapıyı telefonlar ve edge cihazlarda çalıştırmak.

Ternary ağırlıklar parametreleri daha düşük hassasiyetle gösteriyor. Bu da bellek kullanımını ve hesaplama ihtiyacını düşürüyor.

Denge tutarsa bazı iş yükleri yerel cihaza kayabilir. Sonuçta yanıtlar hızlanır, maliyetler azalır ve bulut bağımlılığı biraz gevşer.

Geliştiriciler modeli doğrudan test edip edge dağıtım stratejisi kurabilir.

Model yarışında sadece parametre sayısını büyütmek değil, aynı işi daha az kaynakla yapmak da önem kazanıyor.

Erken test eden ekipler avantajlı konumda. Bu aşama yatırımcılar için doğrudan pozisyon getirisi yaratmaz.