LangChain Ajanları Kendi Çalıştırma Kayıtlarıyla Eğitince Kod İncelemelerinde Daha Doğru Sonuç Aldı
Doğruluk yüzde 63'ten 81'e çıkarken araç çağrıları yüzde 29 azaldı
TL;DR:
- Gerçek çalıştırma kayıtlarıyla yapılan eğitim büyük model kullanmaktan daha fazla iyileşme getirdi
- Kimi K3'ten eğitilen Engine ajanı dar görev benchmark'ında GPT-5.6'yı geçti
- LangSmith artık çalıştırma kayıtlarını doğrudan eğitim verisine çeviriyor
Başlık
LangChain ajan modellerini kendi çalışma kayıtlarıyla eğittikten sonra kod inceleme doğruluğunu artırdı ve araç çağrılarını azalttı.
Özet
Denetimli eğitim OpenSWE Review doğruluğunu 62.9%'dan 81.5%'e çıkardı ve araç çağrılarını yüzde 29 düşürdü. Kimi K3 temelinden eğitilen Engine ajanı sorun tespit benchmark'ında hem kendi modelini hem GPT-5.6'yı geçti. LangSmith Fine-Tuning ajan çalıştırmalarını eğitim için hazır veri setlerine dönüştürüyor.
Analiz
Gerçek çalışma kayıtlarıyla eğitim modeli büyütmekten daha iyi sonuç verdi. Kazanımlar ajan yapısını değiştirmek yerine başarılı üretim çalıştırmalarını korumaktan geldi.
OpenSWE sonuçları farkı açıkça gösteriyor: daha yüksek doğruluk, daha az araç çağrısı, daha az hata ve düşük çıkarım maliyeti.
Engine skoru dar bir görevde eğitilmiş Kimi K3'ün güçlü genel amaçlı modeli geçebileceğini gösterdi. LangChain için bu LangSmith gözlemlenebilirliğini doğrudan eğitim ve sürüme bağlamak anlamına geliyor. Fireworks ve Baseten için yönetilen eğitim çalışmalarına erişimi kolaylaştırıyor.
Etki Değerlendirmesi
- Önem: Orta
- Kategoriler: Geliştirici Araçları, Teknik İçgörü, Yapay Zekâ Araştırması
Erken aşama geliştiriciler burada avantajlı. Trader'lar ve uzun vadeli yatırımcılar için doğrudan fırsat yok. Kazanç sağlayan taraf ajan çalışma verisini eğitim döngüsüne bağlayan builder'lar ve bu altyapıyı sunan fonlar.