Başlık

Perplexity araştırma ajanlarını hem geniş arama hem de derin akıl yürütme açısından ölçmek için kullandığı WANDR benchmark'ını açık kaynak yaptı.

Özet

Perplexity WANDR'ı kendi ürünlerinde araştırma özelliklerini geliştirmek amacıyla hazırladı. Amaç sadece doğru cevabı bulmak değil, çok adımlı sorularda bilgi toplamayı ve o bilgiyi analiz etmeyi aynı anda test etmek.

Agent araçları çoğaldıkça kaliteyi sadece cevap doğruluğuyla değil, araştırma sürecinin genişliği ve derinliğiyle ölçen ölçütlere ihtiyaç artıyor.

Analiz

AI şirketleri son zamanlarda agent benchmark'larına daha çok emek harcıyor. Web araması, araç kullanımı ve adım adım düşünmeyi aynı testte ölçen setler öne çıkıyor.

Perplexity'nin WANDR'ı açık kaynak yapması, şirketin sadece yeni bir ürün satmaya çalışmadığını, aynı zamanda ajan ölçüm standartlarına katkı vermek istediğini gösteriyor.

WANDR geliştiriciler için şu yönleriyle işe yarıyor:

| Ölçülen boyut | Neyi test ediyor? | Neden önemli? | |---|---|---| | Kapsam | Ajanın farklı kaynaklara ne kadar yayılabildiği | Tek kaynağa bağlı yüzeysel cevapları elemek için | | Derinlik | Zor sorularda akıl yürütme kalitesi | Sadece bilgi bulmayı değil analiz yeteneğini görmek için | | Kaynak sentezi | Dağınık bilgileri tutarlı sonuca bağlama | Gerçek iş akışına daha yakın olduğu için |

Çoğu LLM testi bu genişlik-derinlik ikilisini iyi yakalayamıyor. Bu yüzden WANDR araştırma ajanlarını karşılaştırmak isteyen ekipler için daha gerçekçi bir zemin sunabilir.

AI laboratuvarlarının eval araçlarını açık kaynak yapması giderek yaygınlaşıyor. Bu hem teknik katkı sağlıyor hem de alanın hangi metriklerle ilerleyeceğini etkiliyor.

Etki Değerlendirmesi

Önem düzeyi: Orta Kategoriler: Açık Kaynak, AI Araştırması, Geliştirici Araçları

Bu gelişme erken aşamada daha çok geliştiricilere ve agent altyapısı kuran ekiplere hitap ediyor. Kısa vadeli piyasa hareketi için doğrudan sinyal vermiyor, uzun vadeli araştırma standartları açısından izlenmesi gereken bir adım.