Slopalytics 把 AI 基准测试和真实编码数据连起来

TL;DR:

Slopalytics 把真实使用数据叠加到标准 AI 基准上。
T3 Code 的数据能看出开发者实际怎么用这些工具。
这让 AI 提供商在成本、质量和任务结果上面对更大压力。
项目作用大小要看以后有没有新基准覆盖代理编码和完整工作流。

仪表板

Theo 推出了 Slopalytics。它把 Artificial Analysis 的基准测试跟 T3 Code 的使用数据放在一起。

背景

Theo 负责 T3 开发者工具。他做 Slopalytics 就是为了让看 Artificial Analysis 的数据更方便，现在又加了 T3 Code 的使用统计。他想再加一些基准，好跟踪模型在真实场景下的表现。

分析

标准 AI 测试常常和编码人员实际使用的情况对不上。加入 T3 Code 的使用数据后，能更清楚哪些模型真的帮到开发者。用户可以更快对比不同选项，也逼着提供商在成本、速度和任务成功率上改进。要是以后测试能覆盖代理式编码和端到端工作流这些老基准没测到的东西，仪表板的作用还会更大。