avatar

Kimi K3 Max kapalı testlerde Claude ve GPT'yi geçtiğini söylüyor

Model gerçek işlerde Claude ve GPT'yi geçtiği öne sürülüyor.

avatar@Kimi_Moonshot
1 day ago

TL;DR:

  • Kimi yeni modelini deney tasarımı, sunum hazırlama ve finans işleri gibi günlük görevlerde denedi.
  • Sonuçlar iyi duruyor ama testler kapalı olduğu için dışarıdan kontrol etmek zor.
  • Büyük AI firmaları artık sadece benchmark yerine ajanların gerçek işlerdeki güvenilirliğine bakıyor.

Kimi K3 Max ne iddia ediyor?

Kimi.ai, K3 Max modelinin bazı ajan iş akışı testlerinde Claude Opus 4.8 ve GPT-5.5'i geçtiğini söylüyor. Şirket asıl farkın klasik benchmark skorlarında değil, modelin gerçek işleri baştan sona götürebilmesinde olduğunu vurguluyor.

Hangi işleri test ettiler?

Kimi'nin paylaştığı testler üç ana alana odaklanıyor:

  • Online deneyler: Araştırma, deneme tasarımı ve sonuçları takip etme gibi açık uçlu görevler.
  • Sunum ve deck hazırlama: Bilgiyi derleyip yapılandırma ve sunuma dönüştürme.
  • Finans görevleri: Kontrol, karşılaştırma ve finansal analiz içeren iş akışları.

Şirketin temel argümanı şu: K3 Max'in farkı soyut akıl yürütme sorularında değil, pratik işleri uçtan uca tamamlayabilmesinde.

Özel benchmark konusu

Buradaki kritik nokta test setinin kamuya açık benchmark'lerden değil, gerçek kullanıcı görevlerinden gelmesi. Sonuçlar sahada doğrulanırsa K3 Max şu tür işlerde işe yarayabilir:

  • Araştırma materyallerini toplamak ve özetlemek
  • Finansal kontrolleri yapmak
  • İş belgelerini ve sunumları hazır hale getirmek

Ama temel sorun da burada: Veri seti, yöntem ve detaylı skorlar açık olmadığı için iddiayı bağımsız doğrulamak mümkün değil. Bu da büyük AI laboratuvarlarının son dönemde yön değiştirmesiyle uyumlu; artık sadece benchmark birinciliği değil, ajanların gerçek işlerde tutarlı çalışması daha önemli görülüyor.

| Başlık | Kimi'nin vurgusu | Araştırmacı açısından sorun | |---|---|---| | Test kaynağı | Gerçek kullanıcı işleri | Dışarıdan denetlenemiyor | | Ölçülen yetenek | Ajan iş akışı performansı | Metodoloji belirsiz | | Olası değer | Kurumsal görevlerde verimlilik | Sonuçların genellenebilirliği bilinmiyor |

Verdict: Bu aşamada avantajı doğrudan modeli kurumsal ajan işlerinde test edebilecek builder ve fon ekipleri yakalayabilir. Kısa vadeli trader ya da pasif uzun vadeli holder için henüz erken.