Hugging Face birden fazla harness için açık ajan eğitim araçları yayınladı
Aynı model ağırlıkları harness'e göre çok farklı sonuçlar veriyor
TL;DR:
- Model performansı harness'e göre ciddi şekilde değişiyor
- Proxy kod değiştirmeden büyük API'lerden token ve logprob çekiyor
- LFM2.5-2.6B multi-harness eğitimiyle başarıyı %42'den %54'e çıkardı
- Yedi model dahil tüm yığın açık lisansla paylaşıldı
Başlık
Hugging Face birden fazla harness'te aynı anda reinforcement learning çalıştıracak açık bir yöntem yayınladı.
Özet
Ekip aynı ağırlıkların farklı harness'lerde bambaşka skorlar ürettiğini gösterdi. Bu yüzden harness'i ortamın parçası gibi görmek gerekiyor. Geliştirdikleri proxy OpenAI, Anthropic ve Gemini API'lerinin önüne oturup Claude veya Codex koduna dokunmadan token ID'leri ile logprob değerlerini topluyor.
Liquid AI'ın LFM2.5-2.6B modeli dört harness üzerinde eğitildikten sonra başarı oranını %42'den %54'e taşıdı ve tool çağrılarını %31 azalttı. Proxy, trainer, görevler, veri seti, kod ve eğitilmiş yedi modelin tamamı açık lisansla yayınlandı.
Analiz
Artık agent eğitimi modeli ve harness'i birlikte düşünmek zorunda. Tool şemaları, orkestrasyon tarzı ve eğitim sırasında alınan geri bildirim sonuçları doğrudan etkiliyor. Birden fazla harness'te eğitilen modeller tek harness'e göre optimize edilenlere göre yeni ortamlarda daha iyi iş çıkarıyor.
- Sadece OpenCode ile eğitim bu harness'teki başarıyı %34'ten %58'e çıkardı.
- Multi-harness sürümü ise tüm harness'lerde iyileşme sağladı.
- Qwen3.8-27B rollout'larından gelen imitation learning sonuçları modelin kendi başına keşif yapıp gerçek görev geri bildirimi almasına göre daha zayıf kaldı.
Temel nokta şu: agent performansını sadece model ağırlıkları belirlemiyor. Harness seçimi ölçümün ve eğitimin ayrılmaz parçası.
Capture katmanı ve eğitim kodunun yayınlanması open-model ekiplerine harness'e özel ajanlar ya da farklı harness'ler arasında dayanıklı kalan ajanlar geliştirmek için doğrudan kullanılabilecek bir yol açıyor. Bu adım kapalı model sağlayıcıları için çıtayı yükseltirken cross-harness testlerini standart hale getiriyor.
Etki Değerlendirmesi
Açık AI araştırmaları açısından teknik etki yüksek.
Sonuç: Bu konuda erken konumlanan taraf builder'lar. Doğrudan fayda sağlayanlar ise farklı harness'lerde agent eğiten open-model ekipleri. Trader'lar ve pasif uzun vadeli yatırımcılar içinse bu gelişme piyasa katalizörü değil, dolayısıyla pratikte ilgisiz.